Transformers documentation

Tùy chỉnh bộ mã hóa

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Tùy chỉnh bộ mã hóa

Tokenizers được tách rời khỏi bảng từ vựng đã học của chúng. Điều này cho phép bạn khởi tạo một tokenizer trống để huấn luyện hoặc tạo một tokenizer trực tiếp với bảng từ vựng của riêng bạn. Quy trình tokenization cơ bản vẫn giữ nguyên (normalizer, pre-tokenizer, thuật toán tokenization) nên bạn không cần phải tạo lại nó từ đầu.

Hướng dẫn này cho thấy cách huấn luyện và tạo một bộ phân từ (tokenizer) tùy chỉnh.

Agent prompt

Hỗ trợ người dùng chọn cách tạo hoặc điều chỉnh một tokenizer của Transformers. Trước tiên, hãy xác định xem họ có cần huấn luyện một từ vựng mới, định nghĩa một từ vựng tùy chỉnh, hay thay đổi quy trình phân tách token hay không. Sử dụng hướng dẫn này để chọn phương pháp phù hợp.

  1. Hỏi về ngôn ngữ hoặc lĩnh vực, nguồn và kích thước tập dữ liệu, bộ phân từ khởi đầu, kích thước từ vựng mong muốn, mô hình dự kiến và mục đích sử dụng. Chỉ đặt câu hỏi bổ sung khi các chi tiết còn thiếu ảnh hưởng đến lựa chọn, và ghi rõ các giả định của bạn.
  2. Chọn workflow phù hợp. Để thêm token vào một tokenizer hiện có, hãy dùng add_tokens cho các token thông thường hoặc add_special_tokens khi chúng cần hành vi của token đặc biệt. Nếu bạn thêm token vào một tokenizer được ghép cặp với một model, hãy điều chỉnh kích thước token embeddings của model bằng resize_token_embeddings(len(tokenizer)). Đối với một từ vựng mới mà vẫn giữ nguyên pipeline tokenizer hiện có, hãy dùng train_new_from_iterator với các lô văn bản đại diện. Đối với từ vựng và quy tắc merge được cung cấp, hãy kiểm tra xem tokenizer có hỗ trợ các đầu vào đó hay không. Chỉ sử dụng backend tùy chỉnh khi pipeline hiện có không thể diễn đạt được hành vi yêu cầu.
  3. Kiểm tra tính tương thích với mô hình dự kiến. Từ vựng mới có thể làm thay đổi ID của token, vì vậy không nên giả định rằng nó khớp với các embedding của mô hình được huấn luyện trước. Giải thích xem mô hình có cần các embedding tương ứng hay cần huấn luyện thêm hay không.
  4. Xác thực kết quả. Lưu và tải lại tokenizer, sau đó kiểm tra mã hóa và giải mã trên văn bản đại diện của lĩnh vực và các token đặc biệt. Báo cáo các tệp đã tạo, tokenizer ban đầu, kích thước từ vựng, kết quả kiểm tra và các câu hỏi về tính tương thích chưa được giải quyết.

Huấn luyện bộ mã hóa

Một tokenizer có thể huấn luyện rỗng sẽ thay thế bảng từ vựng bằng một bảng từ vựng đích mới. Điều này hữu ích để thích ứng với một lĩnh vực mới như tài chính, một ngôn ngữ ít tài nguyên, hoặc mã nguồn.

Tạo một tokenizer rỗng và tải một tập dữ liệu.

from datasets import load_dataset
from transformers import GemmaTokenizer

tokenizer = GemmaTokenizer()
dataset = load_dataset("Josephgflowers/Finance-Instruct-500k", split="train")

Sử dụng phương thức TokenizersBackend.train_new_from_iterator() để huấn luyện tokenizer. Phương thức này nhận một hàm generator để trả về các khối văn bản từ tập dữ liệu thay vì nạp toàn bộ vào bộ nhớ cùng lúc. Đối số vocab_size đặt kích thước từ vựng của tokenizer.

def batch_iterator(batch_size=1000):
    for i in range(0, len(dataset), batch_size):
        yield dataset[i : i + batch_size]["assistant"]

trained_tokenizer = tokenizer.train_new_from_iterator(
    batch_iterator(),
    vocab_size=32000,
)
encoded = trained_tokenizer("The stock market rallied today.")
print(encoded["input_ids"])
[5866, 11503, 98, 5885, 8617, 13381, 30]

Thêm các token đặc biệt mới bằng đối số new_special_tokens hoặc sử dụng special_tokens_map để đổi tên các token đặc biệt cũ thành các token đặc biệt mới.

Lưu bộ phân tích từ mới cho tài chính bằng save_pretrained() hoặc lưu và tải lên Hub bằng push_to_hub(). Thao tác này tạo ra tệp tokenizer.json chứa từ vựng mới được huấn luyện, các quy tắc gộp và cấu hình pipeline đầy đủ.

trained_tokenizer.save_pretrained("./finance-gemma-tokenizer")
trained_tokenizer.push_to_hub("finance-gemma-tokenizer")

Từ điển tùy chỉnh

Tokenizer rỗng hỗ trợ từ điển tùy chỉnh với các đối số vocab và merges.

  • vocab là tập hợp đầy đủ các token mà một tokenizer biết và mỗi mục ánh xạ một token đến id đầu vào của nó.
  • merges xác định cách thuật toán BPE kết hợp các token liền kề.
from transformers import GemmaTokenizer

vocab={
    "<pad>": 0,
    "</s>": 1,
    "<s>": 2,
    "<unk>": 3,
    "<mask>": 4,
    "▁the": 5,
    "▁stock": 6,
    "▁market": 7,
    "▁": 8,
    "r": 9,
    "a": 10,
    "l": 11,
    "i": 12,
    "e": 13,
    "d": 14,
    "ra": 15,
    "li": 16,
    "lie": 17,
    "lied": 18,
    "ral": 19,
    "ralli": 20,
    "rallie": 21,
    "rallied": 22,
}
merges=[
    ("r", "a"),       # r + a → ra
    ("l", "i"),       # l + i → li
    ("li", "e"),      # li + e → lie
    ("lie", "d"),     # lie + d → lied
    ("ra", "l"),      # ra + l → ral
    ("ral", "li"),    # ral + li → ralli
    ("ralli", "e"),   # ralli + e → rallie
    ("rallie", "d"),  # rallie + d → rallied
]

tokenizer = GemmaTokenizer(vocab=vocab, merges=merges)
encoded = tokenizer("the stock market rallied")
print(encoded["input_ids"])

Kế thừa TokenizersBackend

Tokenizers hỗ trợ bốn backend khác nhau. Nhìn chung, bạn nên sử dụng TokenizersBackend để định nghĩa một tokenizer mới vì nó nhanh hơn.

PythonBackend là một tokenizer thuần Python, không phụ thuộc vào các backend như Rust, SentencePiece hay mistral-common. Bạn chỉ nên sử dụng PythonBackend nếu bạn đang xây dựng một tokenizer rất chuyên biệt mà không thể biểu diễn bằng backend Rust.

  1. Kế thừa TokenizersBackend với các thuộc tính lớp như phía đệm (padding side) và thuật toán phân từ (tokenization) cần sử dụng.
  2. Định nghĩa pipeline tokenization trong __init__. Điều này bao gồm thuật toán tokenization cần sử dụng, cách chia nhỏ văn bản thô trước khi áp dụng thuật toán, và cách giải mã các token trở lại thành văn bản.
from tokenizers import Tokenizer, decoders, pre_tokenizers
from tokenizers.models import BPE
from transformers import TokenizersBackend

class NewTokenizer(TokenizersBackend):
    padding_side = "left"
    model = BPE

    def __init__(
        self,
        vocab=None,
        merges=None,
        unk_token="<unk>",
        bos_token="<s>",
        eos_token="</s>",
        pad_token="<pad>",
    ):
        self._vocab = vocab or {
            str(unk_token): 0,
            str(bos_token): 1,
            str(eos_token): 2,
            str(pad_token): 3,
        }
        self._merges = merges or []

        self._tokenizer = Tokenizer(
            BPE(vocab=self._vocab, merges=self._merges, fuse_unk=True)
        )
        self._tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=False)
        self._tokenizer.decoder = decoders.ByteLevel()

        super().__init__(
            unk_token=unk_token,
            bos_token=bos_token,
            eos_token=eos_token,
            pad_token=pad_token,
        )

Huấn luyện hoặc lưu bộ phân từ mới trống.

tokenizer = NewTokenizer()

# train on new corpus
corpus = ["The stock market rallied today.", "Bond yields fell sharply."]
trained_tokenizer = tokenizer.train_new_from_iterator(corpus, vocab_size=32000)
# save tokenizer
trained_tokenizer.save_pretrained("./new-tokenizer")
Update on GitHub