Xác thực

Để truy cập các bộ dữ liệu riêng tư hoặc có kiểm soát, bạn cần xác thực trước. Xác thực được thực hiện bằng cách cung cấp một token truy cập, token này sẽ được dùng để xác thực và cấp quyền truy cập của bạn vào các bộ dữ liệu riêng tư và có kiểm soát. Bước đầu tiên là tạo một token truy cập cho tài khoản của bạn. Bạn có thể thực hiện điều này bằng cách truy cập Hugging Face Settings - Tokens.

Có ba cách để cung cấp token: đặt biến môi trường, truyền tham số cho reader hoặc sử dụng Hugging Face CLI.

Biến môi trường

Nếu bạn đặt biến môi trường HF_TOKEN, Polars sẽ tự động sử dụng nó khi yêu cầu các dataset từ Hugging Face.

export HF_TOKEN="hf_xxxxxxxxxxxxx"

Tham số

Bạn cũng có thể cung cấp rõ ràng access token cho reader (ví dụ: read_parquet) thông qua tham số storage_options. Để xem tổng quan đầy đủ về tất cả các tham số, hãy xem hướng dẫn tham chiếu API.

pl.read_parquet(
    "hf://datasets/roneneldan/TinyStories/data/train-*.parquet",
    storage_options={"token": ACCESS_TOKEN},
)

CLI

Ngoài ra, bạn có thể sử dụng Hugging Face CLI để xác thực. Sau khi đăng nhập thành công bằng hf auth login, một access token sẽ được lưu trong thư mục HF_HOME, mặc định là ~/.cache/huggingface. Polars sau đó sẽ sử dụng token này để xác thực.

Nếu nhiều phương pháp được chỉ định, chúng được ưu tiên theo thứ tự sau:

• Tham số (storage_options)
• Biến môi trường (HF_TOKEN)
• CLI