Data Studio

Cada página de conjunto de dados inclui uma tabela com o conteúdo do conjunto de dados, organizada em páginas de 100 linhas. Você pode navegar entre as páginas usando os botões na parte inferior da tabela.

Inspecionar distribuições de dados

No topo das colunas, você pode ver os gráficos que representam a distribuição de seus dados. Isso fornece uma visão rápida sobre o quão balanceadas são suas classes, qual é a amplitude e a distribuição dos dados numéricos e dos comprimentos dos textos, e qual parte dos dados da coluna está ausente.

Filtrar por valor

Se você clicar em uma barra de um histograma de uma coluna numérica, o visualizador de conjuntos de dados filtrará os dados e mostrará apenas as linhas com valores que caem na faixa selecionada. Da mesma forma, se você selecionar uma classe de uma coluna categórica, ele mostrará apenas as linhas da categoria selecionada.

Pesquise uma palavra no conjunto de dados

Você pode pesquisar por uma palavra no conjunto de dados digitando-a na barra de pesquisa no topo da tabela. A pesquisa não diferencia maiúsculas de minúsculas e corresponderá a qualquer linha que contenha a palavra. O texto é pesquisado nas colunas de string, mesmo que os valores estejam aninhados em um dicionário ou em uma lista.

Execute consultas SQL no conjunto de dados

Você pode executar consultas SQL no conjunto de dados no navegador usando o Console SQL. Este recurso também aproveita nossa conversão automática para Parquet.

Para mais informações, consulte nosso guia sobre SQL Console. Você pode executar as mesmas consultas SQL do DuckDB pela linha de comando com hf datasets sql ou diretamente com DuckDB.

Compartilhar uma linha específica

Você pode compartilhar uma linha específica clicando nela e, em seguida, copiando a URL na barra de endereço do seu navegador. Por exemplo, https://huggingface.co/datasets/nyu-mll/glue/viewer/mrpc/test?p=2&row=241 abrirá o dataset studio no dataset MRPC, no split test, e na linha 241.

Rastreamentos de agentes

Envie seus rastros JSONL brutos de ferramentas como Claude Code, Codex ou Pi para um dataset e navegue por eles no Data Studio, ou sincronize-os com um Storage Bucket e abra os arquivos .jsonl individuais lá. Ambos os caminhos usam o mesmo visualizador de rastros para percorrer sessões, turnos, chamadas de ferramentas e respostas do modelo. Consulte Agent Traces para ver os agentes suportados e como visualizar rastros.

Conjuntos de dados em larga escala

O Dataset Viewer suporta conjuntos de dados em larga escala, mas, dependendo do formato dos dados, pode exibir apenas os primeiros 5 GB do conjunto de dados:

• Para conjuntos de dados Parquet: o Visualizador de Conjuntos de Dados exibe o conjunto de dados completo, mas a ordenação, a filtragem e a busca estão habilitadas apenas nos primeiros 5 GB.
• Para conjuntos de dados >5GB em outros formatos (por exemplo, WebDataset ou JSON Lines): o Dataset Viewer exibe apenas os primeiros 5GB, e a ordenação, a filtragem e a busca estão habilitadas nesses primeiros 5GB.

Nesse caso, uma mensagem informativa avisa que o Viewer é parcial. Essa deve ser uma amostra grande o suficiente para representar o conjunto de dados completo com precisão. Avise-nos se você precisar de uma amostra maior.

Acesse os arquivos parquet

Para alimentar o visualizador de datasets, os primeiros 5GB de cada dataset são convertidos automaticamente para o formato Parquet (a menos que já fosse um dataset Parquet). No visualizador de datasets (por exemplo, veja GLUE), você pode clicar em “Auto-converted to Parquet” para acessar os arquivos Parquet. Consulte a documentação do visualizador de datasets para aprender a consultar os arquivos parquet do dataset com bibliotecas como Polars, Pandas ou DuckDB.

Parquet é um formato de armazenamento em colunas otimizado para consultas e processamento de grandes conjuntos de dados. O Parquet é uma escolha popular para processamento de big data e análises e é amplamente utilizado para processamento de dados e aprendizado de máquina. Você pode saber mais sobre as vantagens associadas a esse formato na documentação.

Bot de conversão

Ao criar um novo dataset, o bot parquet-converter notifica você quando converte o dataset para Parquet. A discussão que ele abre no repositório fornece detalhes sobre o formato Parquet e links para os arquivos Parquet.

Acesso programático

Você também pode acessar a lista de arquivos Parquet programaticamente usando a Hub API; por exemplo, o endpoint https://huggingface.co/api/datasets/nyu-mll/glue/parquet lista os arquivos parquet do dataset nyu-mll/glue. O CLI hf fornece a mesma lista com hf datasets parquet, e hf datasets sql permite consultar os arquivos com SQL.

Também temos uma documentação específica sobre a Dataset Viewer API, que você pode chamar diretamente. Essa API permite acessar o conteúdo, os metadados e as estatísticas básicas de todos os datasets do Hugging Face Hub e alimenta o frontend do visualizador de datasets.

Pré-visualização do conjunto de dados

Para os maiores conjuntos de dados, a página exibe uma prévia das primeiras 100 linhas em vez de um visualizador completo. Essa restrição se aplica apenas a conjuntos de dados com mais de 5 GB que não estão nativamente no formato Parquet ou que não foram convertidos automaticamente para Parquet.

Incorporar o Dataset Viewer em uma página da web

Você pode incorporar o Dataset Viewer na sua própria página da web usando um iframe. A URL a ser usada é https://huggingface.co/datasets/<namespace>/<dataset-name>/embed/viewer, em que <namespace> é o proprietário do dataset e <dataset-name> é o nome do dataset. Você também pode passar outros parâmetros, como subset, split, filter, search ou a linha selecionada.

Para mais informações, consulte nosso guia sobre Como incorporar o Dataset Viewer em uma página da web.

Configure o Visualizador de Conjuntos de Dados

Para ter um Dataset Viewer funcionando corretamente para o seu dataset, verifique se o seu dataset está em um formato e estrutura suportados. Também há a opção de configurar o seu dataset usando YAML.

Você pode especificar quais arquivos exibir no Dataset Viewer adicionando um bloco de configuração YAML no topo do arquivo README.md do seu dataset. Por exemplo, para escolher qual arquivo vai para qual split:

---
configs:
- config_name: default
  data_files:
  - split: train
    path: "data.csv"
  - split: test
    path: "holdout.csv"
---

Você também pode selecionar vários arquivos por split ou usar padrões glob:

---
configs:
- config_name: default
  data_files:
  - split: train
    path:
    - "data/train_part1.csv"
    - "data/train_part2.csv"
  - split: test
    path: "data/*.csv"
---

Para conjuntos de dados privados, o Dataset Viewer está habilitado para usuários PRO e organizações Team ou Enterprise.

Para mais informações, consulte nosso guia sobre Como configurar o Dataset Viewer.