Data Studio

各データセットのページには、データセットの内容を表形式で表示するテーブルが含まれており、1ページあたり100行で構成されています。テーブル下部のボタンを使用して、ページ間を移動できます。

データ分布の検査

各カラムの上部には、そのデータの分布を表すグラフが表示されています。これにより、クラスがどれだけバランスよく分布しているか、数値データやテキストの長さの範囲と分布、そしてカラムデータの中で欠損している割合がどれくらいかを、すばやく把握できます。

値でフィルタリング

数値カラムのヒストグラムのバーをクリックすると、データセットビューアがデータをフィルタリングし、選択された範囲に値が該当する行のみを表示します。 同様に、カテゴリカラムから1つのクラスを選択すると、選択されたカテゴリの行のみが表示されます。

データセット内で単語を検索

テーブル上部の検索バーに単語を入力することで、データセット内の単語を検索できます。検索は大文字と小文字を区別せず、その単語を含む行すべてに一致します。string型の列のテキストが検索対象となり、値が辞書やリストにネストされている場合でも検索されます。

データセットでSQLクエリを実行する

SQL Console を使用して、ブラウザ上でデータセットに対して SQL クエリを実行できます。この機能は、Parquet への自動変換も活用しています。

詳細については、SQL Consoleのガイドを参照してください。hf datasets sqlまたはDuckDBを直接使用して、コマンドラインから同じDuckDB SQLクエリを実行できます。

特定の行を共有する

行をクリックして、ブラウザのアドレスバーに表示されるURLをコピーすることで、特定の行を共有できます。例えば、https://huggingface.co/datasets/nyu-mll/glue/viewer/mrpc/test?p=2&row=241 は、MRPC データセットの test スプリット、241 行目でデータセットスタジオを開きます。

エージェントのトレース

Claude Code、Codex、Pi などのツールから生成された生の JSONL トレースをデータセットにプッシュして Data Studio で閲覧したり、Storage Bucket に同期して個々の .jsonl ファイルを開いたりできます。どちらの方法でも、セッション、ターン、ツール呼び出し、モデルの応答をステップ実行するための同じトレースビューアを使用します。対応するエージェントとトレースの表示方法については、Agent Traces を参照してください。

大規模データセット

Dataset Viewer は大規模なデータセットをサポートしていますが、データ形式によっては、データセットの最初の 5GB しか表示されない場合があります:

• Parquet データセットの場合: Dataset Viewer ではデータセット全体を表示できますが、ソート、フィルタリング、検索は最初の 5GB 分のみ有効です。
• 5GBを超える他の形式（WebDatasetやJSON Linesなど）のデータセットの場合: Dataset Viewerは最初の5GBのみを表示し、これらの最初の5GBに対してのみ、ソート、フィルタリング、検索が有効になります。

この場合、情報提供メッセージにより、Viewer が部分的であることが通知されます。これは完全なデータセットを正確に代表するのに十分な大きさのサンプルである必要があります。より大きなサンプルが必要な場合は、お知らせください。

parquetファイルにアクセスする

データセットビューワーを動作させるために、すべてのデータセットの最初の5GBは、自動的にParquet形式に変換されます（すでにParquet形式のデータセットの場合は除く）。データセットビューワー（例: GLUE）では、“Auto-converted to Parquet” をクリックすることで、Parquetファイルにアクセスできます。Polars、Pandas、DuckDBなどのライブラリを使用してデータセットのParquetファイルにクエリを実行する方法については、dataset viewer docs を参照してください。

Parquetは、大規模なデータセットのクエリと処理に最適化されたカラムナーストレージ形式です。Parquetはビッグデータ処理や分析において人気のある選択肢であり、データ処理や機械学習で広く使用されています。この形式に関連する利点については、ドキュメントで詳しく学ぶことができます。

変換ボット

新しいデータセットを作成すると、parquet-converter ボットがデータセットを Parquet に変換した際に通知が届きます。リポジトリで開かれるディスカッションには、Parquet 形式の詳細と Parquet ファイルへのリンクが含まれています。

プログラムによるアクセス

Hub API を使用して、Parquet ファイルのリストにプログラムからアクセスすることもできます。例えば、エンドポイント https://huggingface.co/api/datasets/nyu-mll/glue/parquet は、nyu-mll/glue データセットの Parquet ファイルをリスト表示します。hf CLI では、hf datasets parquet を使用して同じリストを取得でき、hf datasets sql を使用すると SQL でファイルをクエリできます。

また、Dataset Viewer API に関する専用のドキュメントも用意しています。この API を直接呼び出すことで、Hugging Face Hub 上のすべてのデータセットの内容、メタデータ、基本的な統計情報にアクセスでき、Dataset viewer のフロントエンドを駆動します。

データセットのプレビュー

最大規模のデータセットの場合、ページには完全な機能を持つビューアーではなく、最初の100行のプレビューが表示されます。この制限は、5GBを超えるデータセットで、ネイティブにParquet形式でない場合、またはParquet形式に自動変換されていない場合にのみ適用されます。

Dataset ViewerをWebページに埋め込む

Dataset Viewerは、iframeを使用してご自身のウェブページに埋め込むことができます。使用するURLはhttps://huggingface.co/datasets/<namespace>/<dataset-name>/embed/viewerで、<namespace>はデータセットの所有者、<dataset-name>はデータセットの名前です。サブセット、スプリット、フィルター、検索、選択された行などの他のパラメータも渡すことができます。

詳細については、Dataset ViewerをWebページに埋め込む方法のガイドを参照してください。

Dataset Viewerを設定する

Dataset Viewerが正しく機能するようにするには、データセットがサポートされている形式と構造になっていることを確認してください。 また、YAMLを使用してデータセットを設定するオプションもあります。

Dataset Viewerで表示するファイルを指定するには、データセットのREADME.mdファイルの先頭にYAML設定ブロックを追加します。例えば、どのファイルをどのsplitに割り当てるかを指定するには:

---
configs:
- config_name: default
  data_files:
  - split: train
    path: "data.csv"
  - split: test
    path: "holdout.csv"
---

各スプリットに対して複数のファイルを選択することも、globパターンを使用することもできます:

---
configs:
- config_name: default
  data_files:
  - split: train
    path:
    - "data/train_part1.csv"
    - "data/train_part2.csv"
  - split: test
    path: "data/*.csv"
---

privateデータセットの場合、Dataset ViewerはPROユーザーおよびTeamまたはEnterprise組織で有効になります。

詳細については、Dataset Viewer の設定方法のガイドを参照してください。