Dataset Cards

Dataset Cardsとは何ですか？

各データセットは、リポジトリ内のREADME.mdファイルによって文書化される場合があります。このファイルはデータセットカードと呼ばれ、Hugging Face Hubではその内容がデータセットのメインページに表示されます。データセット内の潜在的なバイアスに関する情報を含めることで、ユーザーにデータを責任を持って使用する方法を伝えることができます。一般的に、データセットカードは、データセットの内容を理解し、データセットをどのように使用すべきかの文脈を提供するために役立ちます。

カードにデータセットのメタデータも追加できます。メタデータには、ライセンス、言語、サイズなど、データセットに関する重要な情報が記載されます。また、Hub上でデータセットを発見しやすくするためのタグや、データファイルの構成オプションも含まれます。タグは、README.mdファイルの先頭にあるYAMLメタデータセクションで定義されます。

Datasetカードのメタデータ

datasetのリポジトリは、README.mdをデータセットカードとしてレンダリングします。Hubでのカードの表示方法を制御するには、READMEファイルにYAMLセクションを作成してメタデータを定義する必要があります。まず、ファイルの先頭に---を追加し、関連するメタデータをすべて含め、以下の例のように---でセクションを閉じます。

language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2

データセットカードに追加するメタデータにより、Hub上で特定のインタラクションが可能になります。例えば:

• https://huggingface.co/datasets で、ユーザーがデータセットをフィルタリングして発見できるようにします。
• この表の右欄に記載されているキーワードを使用してライセンスを選択すると、そのライセンスがデータセットのページに表示されます。

Hub上のデータセットリポジトリでREADME.mdファイルを作成する際は、Metadata UIを使用して主要なメタデータを入力します:

メタデータフィールドを確認するには、詳細なDataset Card仕様を参照してください。

Datasetカード作成ガイド

データセットカードの作成手順については、データセットカードの作成ガイドを参照してください。

ELI5 データセットカードなどの既存のデータセットカードを読むことは、一般的な慣習に慣れるための優れた方法です。

論文のリンク

データセットカードにPaperページのリンク（HF上またはArxivの要約/PDF）が含まれている場合、HubはarXiv IDを抽出し、arxiv:<PAPER ID>という形式でデータセットのタグに含めます。このタグをクリックすると、以下を行うことができます。

• Paperページをご覧ください
• 同じ論文を引用しているHub上の他のモデルをフィルタリングします。

論文ページの詳細については、こちらをご覧ください。

データセットのモダリティを強制設定する

Hubは、データセットに含まれるファイル（音声、動画、地理空間など）に基づいて、そのモダリティを自動的に検出します。特定のモダリティを強制したい場合は、データセットカードのメタデータにタグを追加できます: 3d、audio、geospatial、image、tabular、text、timeseries、video。

例えば、モダリティをaudioに強制するには、データセットカードのメタデータに以下を追加します:

tags:
- audio

ライブラリをデータセットに関連付ける

データセットページでは、そのデータセットをネイティブで読み込めるライブラリやツールが自動的に表示されますが、別の特定のライブラリを表示したい場合は、データセットカードのメタデータにタグを追加できます。サポートされているタグにはagentenv、argilla、dask、datasets、distilabel、fiftyone、harbor、mlcroissant、nemo-gym、openenv、pandas、verifiers、webdatasetが含まれます。完全なリストについては、サポートされているライブラリのリストを参照するか、新しいライブラリを提案してください。

例えば、argillaライブラリをデータセットカードに関連付けるには、データセットカードのメタデータに以下を追加します。

tags:
- argilla

RL環境のデータセットを宣言する

An RL environment is an ordinary dataset repository whose files can be consumed by one or more environment frameworks. Add the rl-environment tag to make the dataset discoverable with the RL Environments filter, then add a tag for each supported framework. The framework tags also add their generated commands to Use this dataset.

例えば、Verifiers によって読み込むこともできる Harbor タスクディレクトリを含むデータセットは、この Dataset Card YAML を使用します:

---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---

サポートされている環境フレームワークタグは以下の通りです：

これらのタグは互換性を記述し、読み込みコマンドを生成します。新しいリポジトリタイプを作成したり、Hubが環境を実行させたりすることはありません。