Chia sẻ một tập dữ liệu lên Hub

Hub là nơi lưu trữ một bộ sưu tập phong phú các bộ dữ liệu nghiên cứu phổ biến và được cộng đồng tuyển chọn. Chúng tôi khuyến khích bạn chia sẻ bộ dữ liệu của mình lên Hub để giúp phát triển cộng đồng ML và thúc đẩy tiến bộ cho tất cả mọi người. Mọi đóng góp đều được chào đón; việc thêm một bộ dữ liệu chỉ cần kéo và thả!

Bắt đầu bằng cách tạo tài khoản Hugging Face Hub nếu bạn chưa có.

Tải lên bằng giao diện Hub

Giao diện web của Hub cho phép người dùng không có kinh nghiệm phát triển tải lên một bộ dữ liệu.

Tạo một kho lưu trữ

Một kho lưu trữ chứa tất cả các tệp dữ liệu của bạn, bao gồm cả lịch sử các phiên bản, cho phép lưu trữ nhiều hơn một phiên bản của bộ dữ liệu.

1. Nhấp vào hồ sơ của bạn và chọn New Dataset để tạo kho dữ liệu mới.
2. Chọn một tên cho bộ dữ liệu của bạn và chọn xem đó là bộ dữ liệu công khai hay riêng tư. Bộ dữ liệu công khai có thể được mọi người xem, trong khi bộ dữ liệu riêng tư chỉ có thể được xem bởi bạn hoặc các thành viên trong tổ chức của bạn.

Tải lên bộ dữ liệu

1. Sau khi bạn đã tạo một kho lưu trữ, hãy chuyển đến tab Files and versions để thêm một tệp. Chọn Add file để tải lên các tệp dữ liệu của bạn. Chúng tôi hỗ trợ nhiều định dạng tệp dữ liệu văn bản, âm thanh và hình ảnh như .csv, .mp3 và .jpg, cùng nhiều định dạng khác. Đối với các định dạng tệp dữ liệu văn bản như .csv, .json, .jsonl và .txt, chúng tôi khuyến nghị nén chúng trước khi tải lên Hub (ví dụ, nén thành tệp có đuôi .zip hoặc .gz).

   Định dạng tệp văn bản không được Git LFS theo dõi mặc định, và nếu chúng lớn hơn 10MB, chúng sẽ không được commit và tải lên. Hãy xem tệp .gitattributes trong kho của bạn để có danh sách đầy đủ các phần mở rộng tệp được theo dõi. Đối với hướng dẫn này, bạn có thể sử dụng các tệp .csv mẫu sau vì chúng nhỏ: train.csv, test.csv.

2. Kéo và thả các tệp dữ liệu của bạn và thêm một thông báo commit mô tả ngắn gọn.

3. Sau khi tải lên các tệp dữ liệu, chúng sẽ được lưu trữ trong kho dữ liệu của bạn.

Tạo thẻ Dataset

Việc thêm thẻ Dataset có giá trị rất lớn trong việc giúp người dùng tìm thấy dataset của bạn và hiểu cách sử dụng nó một cách có trách nhiệm.

1. Nhấp vào Tạo Dataset Card để tạo một Dataset card. Nút này tạo ra tệp README.md trong kho của bạn.

2. Ở phía trên, bạn sẽ thấy Metadata UI với một số trường để chọn như giấy phép, ngôn ngữ và các danh mục tác vụ. Đây là những thẻ quan trọng nhất giúp người dùng tìm thấy bộ dữ liệu của bạn trên Hub. Khi bạn chọn một tùy chọn từ mỗi trường, chúng sẽ được tự động thêm vào đầu thẻ bộ dữ liệu.

   Bạn cũng có thể xem Quy định về Dataset Card, trong đó có một bộ đầy đủ (nhưng không bắt buộc) các tùy chọn thẻ như annotations_creators, để giúp bạn chọn các thẻ phù hợp.

3. Nhấp vào liên kết Import dataset card template ở đầu trình chỉnh sửa để tự động tạo mẫu thẻ dataset. Việc điền vào mẫu là cách tuyệt vời để giới thiệu dataset của bạn với cộng đồng và giúp người dùng hiểu cách sử dụng nó. Để xem một ví dụ chi tiết về cách một thẻ Dataset tốt nên trông như thế nào, hãy xem CNN DailyMail Dataset card.

Tải bộ dữ liệu

Khi bộ dữ liệu của bạn đã được lưu trên Hub, bất kỳ ai cũng có thể tải nó bằng hàm load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Tải lên bằng Python

Người dùng muốn tải lên bộ dữ liệu theo cách lập trình có thể sử dụng thư viện huggingface_hub. Thư viện này cho phép người dùng tương tác với Hub từ Python.

1. Bắt đầu bằng cách cài đặt thư viện:

pip install huggingface_hub

2. Để tải lên một bộ dữ liệu lên Hub bằng Python, bạn cần đăng nhập vào tài khoản Hugging Face của mình:

hf auth login

3. Sử dụng hàm push_to_hub() để giúp bạn thêm, cam kết và đẩy một tệp lên kho của bạn:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

Để đặt bộ dữ liệu của bạn thành riêng tư, hãy đặt tham số private thành True. Tham số này chỉ có tác dụng khi bạn tạo kho lưu trữ lần đầu tiên.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

Để thêm một cấu hình (hoặc tập con) mới vào một tập dữ liệu hoặc để thêm một phần chia (train/validation/test) mới, vui lòng tham khảo tài liệu Dataset.push_to_hub().

Quyền riêng tư

Một tập dữ liệu riêng tư chỉ có thể được truy cập bởi bạn. Tương tự, nếu bạn chia sẻ một tập dữ liệu trong tổ chức của mình, thì các thành viên của tổ chức cũng có thể truy cập tập dữ liệu đó.

Tải một bộ dữ liệu riêng bằng cách cung cấp token xác thực của bạn cho tham số token:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

Tiếp theo là gì?

Chúc mừng, bạn đã hoàn thành các hướng dẫn! 🥳

Từ đây, bạn có thể tiếp tục:

• Tìm hiểu thêm về cách sử dụng các hàm khác của 🤗 Datasets để xử lý bộ dữ liệu của bạn.
• Truyền trực tiếp các bộ dữ liệu lớn mà không cần tải về máy cục bộ.
• Định nghĩa các phần chia và cấu hình của bộ dữ liệu và chia sẻ bộ dữ liệu của bạn với cộng đồng.

Nếu bạn có bất kỳ câu hỏi nào về 🤗 Datasets, hãy thoải mái tham gia và hỏi cộng đồng trên diễn đàn của chúng tôi.