Autenticación

Para acceder a conjuntos de datos privados o con acceso restringido, primero debe autenticarse. La autenticación funciona mediante la provisión de un token de acceso que se utilizará para autenticar y autorizar su acceso a conjuntos de datos con acceso restringido y privados. El primer paso es crear un token de acceso para su cuenta. Esto se puede hacer visitando Hugging Face Settings - Tokens.

Hay tres formas de proporcionar el token: establecer una variable de entorno, pasar un parámetro al lector o usar la CLI de Hugging Face.

Variable de entorno

Si configuras la variable de entorno HF_TOKEN, Polars la usará automáticamente al solicitar conjuntos de datos de Hugging Face.

export HF_TOKEN="hf_xxxxxxxxxxxxx"

Parámetros

También puede proporcionar explícitamente el token de acceso al lector (por ejemplo, read_parquet) a través del parámetro storage_options. Para una visión general completa de todos los parámetros, consulte la guía de referencia de la API.

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

Alternativamente, puede usar la Hugging Face CLI para autenticarse. Después de iniciar sesión correctamente con hf auth login, se almacenará un token de acceso en el directorio HF_HOME, que por defecto es ~/.cache/huggingface. Polars utilizará este token para la autenticación.

Si se especifican varios métodos, se priorizan en el siguiente orden:

• Parámetros (storage_options)
• Variable de entorno (HF_TOKEN)
• CLI