Polars

Polars é uma biblioteca de DataFrame em memória baseada em um mecanismo de consulta OLAP. É rápida, fácil de usar e open source.

A partir da versão 1.2.0, o Polars oferece suporte nativo ao sistema de arquivos do Hugging Face. Isso significa que todos os benefícios do otimizador de consultas do Polars (por exemplo, pushdown de predicados e projeções) são aplicados e o Polars carregará apenas os dados necessários para concluir a consulta. Isso acelera significativamente a leitura, especialmente para grandes conjuntos de dados (veja otimizações)

Você pode usar os caminhos do Hugging Face (hf://) para acessar dados no Hub:

Começando

Para começar, basta pip install o Polars no seu ambiente:

pip install polars

Depois de instalar o Polars, você pode consultar diretamente um dataset com base em uma URL do Hugging Face. Nenhuma outra dependência é necessária para isso.

import polars as pl

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

Polars oferece duas APIs: uma API lazy (scan_parquet) e uma API eager (read_parquet). Recomendamos o uso da API eager para cargas de trabalho interativas e da API lazy para desempenho, pois ela permite uma melhor otimização de consultas. Para mais informações sobre o tema, consulte o guia do usuário do Polars.

O Polars suporta globbing para baixar vários arquivos de uma vez para um único DataFrame.

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-*.parquet")

URLs do Hugging Face

Uma URL da Hugging Face pode ser construída a partir do username e do nome do dataset da seguinte forma:

• hf://datasets/{username}/{dataset}/{path_to_file}

O caminho pode incluir padrões de globbing, como **/*.parquet, para consultar todos os arquivos que correspondem ao padrão. Além disso, para qualquer formato de arquivo não suportado, você pode usar os arquivos parquet convertidos automaticamente que o Hugging Face fornece usando o @~parquet branch:

• hf://datasets/{my-username}/{my-dataset}@~parquet/{path_to_file}