Tệp dữ liệu Cấu hình

Không có ràng buộc nào về cách tổ chức kho dữ liệu.

Tuy nhiên, nếu bạn muốn Dataset Viewer hiển thị một số tệp dữ liệu nhất định, hoặc tách bộ dữ liệu của bạn thành các phần train/validation/test, bạn cần cấu trúc bộ dữ liệu cho phù hợp. Thường thì chỉ đơn giản là đặt tên tệp dữ liệu theo tên phần tương ứng, ví dụ train.csv và test.csv.

What are splits and subsets?

Bộ dữ liệu học máy thường có các phần chia (splits) và có thể có thêm các tập con (subsets). Một bộ dữ liệu thường được tạo thành từ các splits (ví dụ: train và test) được sử dụng trong các giai đoạn khác nhau của việc huấn luyện và đánh giá mô hình. Một subset (còn gọi là configuration) là một tập dữ liệu con nằm trong một bộ dữ liệu lớn hơn. Các subset đặc biệt phổ biến trong các bộ dữ liệu giọng nói đa ngôn ngữ, nơi có thể có một subset riêng cho từng ngôn ngữ. Nếu bạn muốn tìm hiểu thêm về splits và subsets, hãy xem hướng dẫn Splits and subsets!

Tự động phát hiện các phần chia

Các phần chia (splits) được phát hiện tự động dựa trên tên tệp và tên thư mục. Ví dụ, đây là một bộ dữ liệu có các phần chia train, test và validation:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

Để cấu trúc bộ dữ liệu của bạn bằng cách đặt tên các tệp hoặc thư mục dữ liệu theo tên của các phần chia (split), hãy xem tài liệu Tên tệp và các phần chia và bộ sưu tập các bộ dữ liệu mẫu đi kèm.

Cấu hình các phần chia và tập con thủ công

Bạn có thể chọn các tệp dữ liệu để hiển thị trong Dataset Viewer cho bộ dữ liệu của mình bằng YAML. Điều này hữu ích nếu bạn muốn chỉ định thủ công tệp nào thuộc split nào.

Bạn cũng có thể định nghĩa nhiều tập con cho bộ dữ liệu của mình và truyền các tham số xây dựng bộ dữ liệu (ví dụ: ký tự phân cách cần dùng cho các tệp CSV).

Dưới đây là một ví dụ về cấu hình xác định một tập con có tên “benchmark” với phần chia test.

configs:
- config_name: benchmark
  data_files:
  - split: test
    path: benchmark.csv

Xem tài liệu về Cấu hình thủ công để biết thêm thông tin. Hãy xem thêm các dataset mẫu.

Định dạng tệp được hỗ trợ

Xem trang tài liệu Định dạng tệp để tìm danh sách các định dạng được hỗ trợ và các khuyến nghị cho bộ dữ liệu của bạn. Nếu bộ dữ liệu của bạn sử dụng tệp CSV hoặc TSV, bạn có thể tìm thêm thông tin trong các bộ dữ liệu mẫu.

Lỗi giới hạn kích thước của Dataset Viewer (TooBigContentError)

Nếu bạn thấy Error code: TooBigContentError, thì trình xem dữ liệu không thể đọc bản xem trước trong phạm vi giới hạn của nó. Các thông báo phổ biến bao gồm Parquet error: Scan size limit exceeded và The size of the content of the first rows exceeds the maximum supported size.

Những gì bạn có thể làm:

• Đối với tệp Parquet, hãy sử dụng các nhóm hàng (row group) nhỏ hơn và bao gồm chỉ mục trang (write_page_index=True) để Viewer chỉ đọc những gì cần thiết.
• Tránh các giá trị rất lớn ở các hàng đầu tiên (chuỗi rất dài, khối JSON lớn, payload base64). Di chuyển các payload lớn sang các tệp riêng biệt khi có thể.
• Tách các tệp rất lớn thành các shard hoặc splits nhỏ hơn, sau đó tải lên lại.
• Nếu vấn đề vẫn còn, hãy xem lại Cấu hình Dataset Viewer và mở một cuộc thảo luận trên trang dataset của bạn với toàn bộ văn bản lỗi.

Bộ dữ liệu Ảnh, Âm thanh và Video

Đối với các bộ dữ liệu phân loại ảnh/âm thanh/đoạn video, bạn cũng có thể sử dụng các thư mục để đặt tên cho các lớp ảnh/âm thanh/đoạn video. Và nếu các tệp ảnh/âm thanh/đoạn video của bạn có metadata (ví dụ: chú thích, hộp bao quanh, bản ghi âm, v.v.), bạn có thể đặt các tệp metadata ngay cạnh chúng.

Chúng tôi cung cấp hai hướng dẫn mà bạn có thể tham khảo:

• Cách tạo bộ dữ liệu ảnh (các bộ dữ liệu mẫu)
• Cách tạo bộ dữ liệu âm thanh (các bộ dữ liệu mẫu)
• Cách tạo bộ dữ liệu video