Transformers documentation
Tùy chỉnh bộ mã hóa
Tùy chỉnh bộ mã hóa
Tokenizers được tách rời khỏi bảng từ vựng đã học của chúng. Điều này cho phép bạn khởi tạo một tokenizer trống để huấn luyện hoặc tạo một tokenizer trực tiếp với bảng từ vựng của riêng bạn. Quy trình tokenization cơ bản vẫn giữ nguyên (normalizer, pre-tokenizer, thuật toán tokenization) nên bạn không cần phải tạo lại nó từ đầu.
Hướng dẫn này cho thấy cách huấn luyện và tạo một bộ phân từ (tokenizer) tùy chỉnh.
Hỗ trợ người dùng chọn cách tạo hoặc điều chỉnh một tokenizer của Transformers. Trước tiên, hãy xác định xem họ có cần huấn luyện một từ vựng mới, định nghĩa một từ vựng tùy chỉnh, hay thay đổi quy trình phân tách token hay không. Sử dụng hướng dẫn này để chọn phương pháp phù hợp.
- Hỏi về ngôn ngữ hoặc lĩnh vực, nguồn và kích thước tập dữ liệu, bộ phân từ khởi đầu, kích thước từ vựng mong muốn, mô hình dự kiến và mục đích sử dụng. Chỉ đặt câu hỏi bổ sung khi các chi tiết còn thiếu ảnh hưởng đến lựa chọn, và ghi rõ các giả định của bạn.
- Chọn workflow phù hợp. Để thêm token vào một tokenizer hiện có, hãy dùng
add_tokenscho các token thông thường hoặcadd_special_tokenskhi chúng cần hành vi của token đặc biệt. Nếu bạn thêm token vào một tokenizer được ghép cặp với một model, hãy điều chỉnh kích thước token embeddings của model bằngresize_token_embeddings(len(tokenizer)). Đối với một từ vựng mới mà vẫn giữ nguyên pipeline tokenizer hiện có, hãy dùngtrain_new_from_iteratorvới các lô văn bản đại diện. Đối với từ vựng và quy tắc merge được cung cấp, hãy kiểm tra xem tokenizer có hỗ trợ các đầu vào đó hay không. Chỉ sử dụng backend tùy chỉnh khi pipeline hiện có không thể diễn đạt được hành vi yêu cầu. - Kiểm tra tính tương thích với mô hình dự kiến. Từ vựng mới có thể làm thay đổi ID của token, vì vậy không nên giả định rằng nó khớp với các embedding của mô hình được huấn luyện trước. Giải thích xem mô hình có cần các embedding tương ứng hay cần huấn luyện thêm hay không.
- Xác thực kết quả. Lưu và tải lại tokenizer, sau đó kiểm tra mã hóa và giải mã trên văn bản đại diện của lĩnh vực và các token đặc biệt. Báo cáo các tệp đã tạo, tokenizer ban đầu, kích thước từ vựng, kết quả kiểm tra và các câu hỏi về tính tương thích chưa được giải quyết.
Huấn luyện bộ mã hóa
Một tokenizer có thể huấn luyện rỗng sẽ thay thế bảng từ vựng bằng một bảng từ vựng đích mới. Điều này hữu ích để thích ứng với một lĩnh vực mới như tài chính, một ngôn ngữ ít tài nguyên, hoặc mã nguồn.
Tạo một tokenizer rỗng và tải một tập dữ liệu.
from datasets import load_dataset
from transformers import GemmaTokenizer
tokenizer = GemmaTokenizer()
dataset = load_dataset("Josephgflowers/Finance-Instruct-500k", split="train")Sử dụng phương thức TokenizersBackend.train_new_from_iterator() để huấn luyện tokenizer. Phương thức này nhận một hàm generator để trả về các khối văn bản từ tập dữ liệu thay vì nạp toàn bộ vào bộ nhớ cùng lúc. Đối số vocab_size đặt kích thước từ vựng của tokenizer.
def batch_iterator(batch_size=1000):
for i in range(0, len(dataset), batch_size):
yield dataset[i : i + batch_size]["assistant"]
trained_tokenizer = tokenizer.train_new_from_iterator(
batch_iterator(),
vocab_size=32000,
)
encoded = trained_tokenizer("The stock market rallied today.")
print(encoded["input_ids"])
[5866, 11503, 98, 5885, 8617, 13381, 30]Thêm các token đặc biệt mới bằng đối số new_special_tokens hoặc sử dụng special_tokens_map để đổi tên các token đặc biệt cũ thành các token đặc biệt mới.
Lưu bộ phân tích từ mới cho tài chính bằng save_pretrained() hoặc lưu và tải lên Hub bằng push_to_hub(). Thao tác này tạo ra tệp tokenizer.json chứa từ vựng mới được huấn luyện, các quy tắc gộp và cấu hình pipeline đầy đủ.
trained_tokenizer.save_pretrained("./finance-gemma-tokenizer")
trained_tokenizer.push_to_hub("finance-gemma-tokenizer")Từ điển tùy chỉnh
Tokenizer rỗng hỗ trợ từ điển tùy chỉnh với các đối số vocab và merges.
vocablà tập hợp đầy đủ các token mà một tokenizer biết và mỗi mục ánh xạ một token đến id đầu vào của nó.mergesxác định cách thuật toán BPE kết hợp các token liền kề.
from transformers import GemmaTokenizer
vocab={
"<pad>": 0,
"</s>": 1,
"<s>": 2,
"<unk>": 3,
"<mask>": 4,
"▁the": 5,
"▁stock": 6,
"▁market": 7,
"▁": 8,
"r": 9,
"a": 10,
"l": 11,
"i": 12,
"e": 13,
"d": 14,
"ra": 15,
"li": 16,
"lie": 17,
"lied": 18,
"ral": 19,
"ralli": 20,
"rallie": 21,
"rallied": 22,
}
merges=[
("r", "a"), # r + a → ra
("l", "i"), # l + i → li
("li", "e"), # li + e → lie
("lie", "d"), # lie + d → lied
("ra", "l"), # ra + l → ral
("ral", "li"), # ral + li → ralli
("ralli", "e"), # ralli + e → rallie
("rallie", "d"), # rallie + d → rallied
]
tokenizer = GemmaTokenizer(vocab=vocab, merges=merges)
encoded = tokenizer("the stock market rallied")
print(encoded["input_ids"])Kế thừa TokenizersBackend
Tokenizers hỗ trợ bốn backend khác nhau. Nhìn chung, bạn nên sử dụng TokenizersBackend để định nghĩa một tokenizer mới vì nó nhanh hơn.
PythonBackend là một tokenizer thuần Python, không phụ thuộc vào các backend như Rust, SentencePiece hay mistral-common. Bạn chỉ nên sử dụng PythonBackend nếu bạn đang xây dựng một tokenizer rất chuyên biệt mà không thể biểu diễn bằng backend Rust.
- Kế thừa TokenizersBackend với các thuộc tính lớp như phía đệm (padding side) và thuật toán phân từ (tokenization) cần sử dụng.
- Định nghĩa pipeline tokenization trong
__init__. Điều này bao gồm thuật toán tokenization cần sử dụng, cách chia nhỏ văn bản thô trước khi áp dụng thuật toán, và cách giải mã các token trở lại thành văn bản.
from tokenizers import Tokenizer, decoders, pre_tokenizers
from tokenizers.models import BPE
from transformers import TokenizersBackend
class NewTokenizer(TokenizersBackend):
padding_side = "left"
model = BPE
def __init__(
self,
vocab=None,
merges=None,
unk_token="<unk>",
bos_token="<s>",
eos_token="</s>",
pad_token="<pad>",
):
self._vocab = vocab or {
str(unk_token): 0,
str(bos_token): 1,
str(eos_token): 2,
str(pad_token): 3,
}
self._merges = merges or []
self._tokenizer = Tokenizer(
BPE(vocab=self._vocab, merges=self._merges, fuse_unk=True)
)
self._tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)
self._tokenizer.decoder = decoders.ByteLevel()
super().__init__(
unk_token=unk_token,
bos_token=bos_token,
eos_token=eos_token,
pad_token=pad_token,
)Huấn luyện hoặc lưu bộ phân từ mới trống.
tokenizer = NewTokenizer()
# train on new corpus
corpus = ["The stock market rallied today.", "Bond yields fell sharply."]
trained_tokenizer = tokenizer.train_new_from_iterator(corpus, vocab_size=32000)
# save tokenizer
trained_tokenizer.save_pretrained("./new-tokenizer")