TRL documentation

Trainer Chưng cất

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Trainer Chưng cất

model badge

Tổng quan

Distillation Trainer triển khai kỹ thuật chưng cất tri thức on-policy như được mô tả trong On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes của Rishabh Agarwal, Nino Vieillard, Yongchao Zhou, Piotr Stanczyk, Sabela Ramos, Matthieu Geist và Olivier Bachem.

Tóm tắt từ bài báo như sau:

Nén mô hình (Knowledge distillation - KD) được sử dụng rộng rãi để giảm chi phí suy luận và dung lượng bộ nhớ của mô hình giáo viên (teacher model) bằng cách huấn luyện một mô hình học sinh (student model) nhỏ hơn. Tuy nhiên, các phương pháp KD hiện tại cho các mô hình chuỗi tự hồi quy (auto-regressive sequence models) gặp phải vấn đề lệch phân phối (distribution mismatch) giữa các chuỗi đầu ra được xem trong quá trình huấn luyện và các chuỗi do mô hình học sinh tạo ra trong quá trình suy luận. Để giải quyết vấn đề này, chúng tôi giới thiệu Nén kiến thức tổng quát (Generalized Knowledge Distillation - GKD). Thay vì chỉ dựa vào một tập hợp cố định các chuỗi đầu ra, GKD huấn luyện mô hình học sinh trên các chuỗi đầu ra do chính nó tạo ra bằng cách tận dụng phản hồi từ mô hình giáo viên trên các chuỗi đó. Khác với các tiếp cận KD có giám sát, GKD cũng cung cấp sự linh hoạt để sử dụng các hàm mất mát (loss functions) thay thế giữa mô hình học sinh và mô hình giáo viên, điều này có thể hữu ích khi mô hình học sinh thiếu khả năng diễn đạt (expressivity) để bắt chước phân phối của mô hình giáo viên.

DistillationTrainer huấn luyện một mô hình student nhỏ hơn để khớp với phân phối next-token của teacher trên các sinh thành on-policy của chính student. Nó tạo ra các completion của student theo on-policy (tùy chọn có hỗ trợ vLLM) và khớp teacher trên toàn bộ phân phối next-token của nó bằng một tổn thất Jensen-Shannon divergence chia chunk tiết kiệm bộ nhớ, nhờ đó phân phối dense của teacher không bao giờ được vật chất hóa hoàn toàn.

Trainer này được đóng góp bởi Carlos Miguel Patiño.

Đối với phiên bản bất đồng bộ tách rời quá trình sinh ra khỏi huấn luyện và chấm điểm dựa trên một teacher được cung cấp qua HTTP thay vì một bước forward cục bộ, hãy xem AsyncDistillationTrainer.

Bắt đầu nhanh

Ví dụ này minh họa cách huấn luyện một mô hình bằng phương pháp chưng cất. Chúng ta chưng cất một mô hình Qwen 2.5 0.5B Instruct từ một mô hình giáo viên Qwen 2.5 1.5B Instruct trên các prompt từ bộ dữ liệu prompt UltraFeedback. Bạn có thể xem dữ liệu trong bộ dữ liệu tại đây:

Dưới đây là script để huấn luyện mô hình.

# train_distillation.py
from datasets import load_dataset
from trl import DistillationTrainer

dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")

trainer = DistillationTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
    train_dataset=dataset,
)
trainer.train()

Chạy script bằng lệnh sau:

torchrun --nproc_per_node 8 train_distillation.py

Đi sâu hơn vào phương pháp chưng cất

On-policy knowledge distillation huấn luyện một mô hình sinh viên (student) để tái tạo phân phối token tiếp theo của mô hình giáo viên (teacher) trên các phần hoàn thành (completions) do chính sinh viên tạo ra, thay vì trên một tập hợp cố định các đầu ra của giáo viên. Việc học từ chính các phần tạo ra của mình cho phép sinh viên tự sửa các lỗi của mình, điều này thường cho hiệu suất vượt trội hơn so với off-policy distillation. Phần này phân tích cách thức hoạt động trong thực tế, bao gồm hai bước chính: tạo các phần hoàn thành và tính toán loss.

Tạo các câu trả lời hoàn chỉnh

Tại mỗi bước huấn luyện, mô hình sinh viên tạo ra một lô các câu hoàn thành cho các prompt được lấy mẫu.

Tính toán tổn thất

Mất mát là độ phân kỳ Jensen-Shannon tổng quát (JSD) giữa phân phối của học sinh pS p_S và phân phối của giáo viên pT p_T trên các token hoàn thành được tạo ra, nội suy bởi beta và được định nghĩa là: Lβ=β DKL ⁣[pT∥pM]+(1−β) DKL ⁣[pS∥pM],pM=(1−β) pS+β pT, \mathcal{L}_\beta = \beta \, \mathbb{D}_{\mathrm{KL}}\!\left[ p_T \| p_M \right] + (1 - \beta) \, \mathbb{D}_{\mathrm{KL}}\!\left[ p_S \| p_M \right], \qquad p_M = (1 - \beta) \, p_S + \beta \, p_T,

trong đó pM p_M là β \beta -hỗn hợp của hai phân phối. Các điểm đầu mút rút gọn thành các phân kỳ thuần túy: beta=0.0 cho KL thuận DKL ⁣[pT∥pS] \mathbb{D}_{\mathrm{KL}}\!\left[ p_T \| p_S \right] và beta=1.0 KL nghịch DKL ⁣[pS∥pT] \mathbb{D}_{\mathrm{KL}}\!\left[ p_S \| p_T \right] .

Trong thực tế, phép chiếu sang logits từ vựng và độ phân kỳ được tính toán theo từng khối, do đó bộ nhớ kích hoạt đỉnh không tăng theo tensor logits có kích thước từ vựng đầy đủ × độ dài chuỗi. Xem Giảm mức sử dụng bộ nhớ.

Kiểu dữ liệu tập dữ liệu dự kiến

Bộ dữ liệu nên được định dạng dưới dạng bộ dữ liệu đối thoại chỉ chứa prompt. Học sinh tự tạo các phần hoàn thành của mình theo chính sách, vì vậy chỉ cần prompt:

{"prompt": [{"role": "user", "content": "What color is the sky?"}]}

Các chỉ số được ghi log

Trong quá trình huấn luyện và đánh giá, chúng ta ghi lại các chỉ số sau:

  • num_tokens: Tổng số token đã được xử lý cho đến hiện tại, bao gồm cả prompt và completion. Khi sử dụng công cụ, chỉ các token không phải của công cụ mới được tính.
  • step_time: Thời gian trung bình (tính bằng giây) cho mỗi bước huấn luyện (bao gồm cả quá trình sinh).
  • completions/mean_length: Độ dài trung bình của các phần hoàn thành được tạo ra. Khi sử dụng công cụ, chỉ các token không phải của công cụ mới được tính.
  • completions/min_length: Độ dài tối thiểu của các phần hoàn thành được tạo ra. Khi sử dụng công cụ, chỉ các token không phải của công cụ mới được tính.
  • completions/max_length: Độ dài tối đa của các phần hoàn thành được tạo ra. Khi sử dụng công cụ, chỉ các token không phải của công cụ mới được tính.
  • completions/mean_terminated_length: Độ dài trung bình của các chuỗi hoàn thành được tạo ra kết thúc bằng EOS. Khi sử dụng công cụ, chỉ các token không phải công cụ được tính.
  • completions/min_terminated_length: Độ dài tối thiểu của các phần hoàn thành được tạo ra kết thúc bằng EOS. Khi sử dụng công cụ, chỉ các token không phải công cụ được tính.
  • completions/max_terminated_length: Độ dài tối đa của các completion được tạo ra kết thúc bằng EOS. Khi sử dụng công cụ, chỉ các token không phải công cụ được tính.
  • completions/clipped_ratio: Tỷ lệ các câu trả lời bị cắt (clipped).
  • tools/call_frequency: Số lần gọi công cụ trung bình cho mỗi lần hoàn thành trong lô sinh. Chỉ được ghi lại khi có tools được cung cấp.
  • tools/failure_frequency: Tỷ lệ các lần gọi công cụ bị thất bại (công cụ không được tìm thấy, gây ra ngoại lệ, hoặc loại gọi không được hỗ trợ). Giá trị là 0.0 khi không có công cụ nào được gọi. Chỉ được ghi log khi tools được cung cấp.
  • entropy: Entropy trung bình của các dự đoán token trên các phần hoàn thành được tạo ra (đơn vị nats).

Tùy chỉnh

Tăng tốc huấn luyện với sinh nội dung do vLLM hỗ trợ

Việc tạo sinh (generation) thường là nút thắt cổ chai chính khi huấn luyện bằng các phương pháp on-policy. Để tăng tốc quá trình tạo sinh, bạn có thể sử dụng vLLM, một bộ máy suy luận (inference engine) có thông lượng cao và độ trễ thấp cho LLM. Để bật tính năng này, trước tiên hãy cài đặt gói bằng

pip install trl[vllm]

Chúng tôi hỗ trợ hai cách sử dụng vLLM trong quá trình huấn luyện: chế độ colocate và chế độ server.

Tùy chọn 1: Chế độ Colocate

Trong chế độ này, vLLM chạy bên trong tiến trình trainer và chia sẻ bộ nhớ GPU với mô hình huấn luyện. Điều này giúp tránh việc khởi động một server riêng và có thể cải thiện mức sử dụng GPU, nhưng có thể dẫn đến tranh chấp bộ nhớ trên các GPU huấn luyện. Đây là chế độ mặc định.

from trl import DistillationConfig

training_args = DistillationConfig(
    ...,
    use_vllm=True,  # vllm_mode="colocate" by default
)

Tùy chọn 2: Chế độ máy chủ

Trong chế độ này, vLLM chạy trong một tiến trình riêng (và sử dụng các GPU riêng) và giao tiếp với trainer qua HTTP. Đây là lựa chọn lý tưởng nếu bạn có các GPU dành riêng cho suy luận.

  1. Khởi động máy chủ vLLM:

    VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
        --weight-transfer-config '{"backend": "nccl"}' \
        --logprobs-mode processed_logprobs \
        --max-logprobs -1
  2. Bật chế độ máy chủ trong script huấn luyện của bạn:

    from trl import DistillationConfig
    
    training_args = DistillationConfig(
        ...,
        use_vllm=True,
        vllm_mode="server",
    )

Hãy đảm bảo rằng server đang sử dụng các GPU khác với trainer, nếu không bạn có thể gặp lỗi NCCL. Bạn có thể chỉ định các GPU cần sử dụng bằng biến môi trường CUDA_VISIBLE_DEVICES.

Tùy thuộc vào kích thước mô hình và yêu cầu bộ nhớ GPU tổng thể cho việc huấn luyện, bạn có thể cần điều chỉnh tham số vllm_gpu_memory_utilization trong DistillationConfig để tránh tình trạng khai thác không đủ hoặc lỗi hết bộ nhớ.

Để biết thêm thông tin, hãy xem Tăng tốc huấn luyện với vLLM.

Huấn luyện adapter với PEFT

Chúng tôi hỗ trợ tích hợp chặt chẽ với thư viện 🤗 PEFT, cho phép bạn huấn luyện các adapter và chia sẻ chúng trên Hub thay vì huấn luyện toàn bộ mô hình sinh viên.

from datasets import load_dataset
from trl import DistillationTrainer
from peft import LoraConfig

dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")

trainer = DistillationTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
    train_dataset=dataset,
    peft_config=LoraConfig(),
)
trainer.train()

Mất mát chưng cất đọc trực tiếp lm_head.weight và chạy phần thân học sinh mà không đi qua PeftModel.forward(). Do đó, các adapter trên lm_head (thông qua target_modules) và các phương pháp học prompt (PromptTuning, PrefixTuning, P-Tuning) bị từ chối, vì chúng sẽ bị bỏ qua một cách im lặng. Để huấn luyện đầu ra, hãy dùng modules_to_save=["lm_head"] thay thế.

Đào tạo Agent

DistillationTrainer hỗ trợ huấn luyện agent: sinh viên gọi công cụ trong quá trình sinh và được chưng cất trên quỹ đạo kết quả. Các token kết quả công cụ bị che khỏi loss, nên sinh viên chỉ được huấn luyện trên các token do chính nó sinh ra.

Công cụ

Tham số tools mong đợi một danh sách các hàm Python xác định các công cụ có sẵn cho tác tử:

from trl import DistillationTrainer

trainer = DistillationTrainer(
    tools=[tool1, tool2],
    ...,
)

Mỗi công cụ phải là một hàm Python chuẩn với tham số và kiểu trả về có chú thích kiểu (type-hint), cùng với một docstring theo phong cách Google mô tả mục đích, các tham số và giá trị trả về. Để biết thêm chi tiết, hãy xem hướng dẫn Truyền công cụ.

Vòng lặp gọi công cụ yêu cầu mẫu chat phải giữ nguyên phần đầu (việc thêm một thông điệp công cụ không được làm thay đổi cách các thông điệp trước đó được hiển thị). Đối với các họ model đã biết (ví dụ: Qwen3, DeepSeek-V3), TRL sẽ tự động thay thế bằng mẫu huấn luyện đã vá khi công cụ được bật. Xem Mẫu Chat để biết danh sách đầy đủ.

Sử dụng max_tool_calling_iterations trong DistillationConfig để giới hạn số lượt gọi công cụ. Mặc định không có giới hạn, và quá trình sinh sẽ dừng khi sinh viên tạo ra lượt phản hồi không có lời gọi công cụ nào, khi phần hoàn thành (tất cả các lượt và kết quả công cụ) đạt max_completion_length token, hoặc khi toàn bộ chuỗi đạt độ dài tối đa của mô hình (vllm_max_model_length với vllm_mode="colocate", còn lại là max_position_embeddings của mô hình).

Ví dụ:

from trl import DistillationTrainer

def multiply(a: int, b: int) -> int:
    """
    Multiplies two integers.

    Args:
        a: The first integer.
        b: The second integer.

    Returns:
        The product of the two integers.
    """
    return a * b

trainer = DistillationTrainer(
    tools=[multiply],
    ...,
)

Công cụ bất đồng bộ (async) hiện chưa được hỗ trợ — hãy truyền các hàm đồng bộ (synchronous).

Phản hồi công cụ đa phương thức

Công cụ có thể trả về hình ảnh cùng với văn bản bằng cách trả về một danh sách các khối nội dung. Điều này hữu ích cho việc huấn luyện tác tử VLM, nơi công cụ cung cấp phản hồi trực quan (ví dụ: ảnh chụp màn hình, biểu đồ, hình ảnh từ camera).

from PIL import Image

def take_screenshot() -> list:
    """
    Takes a screenshot of the current screen.

    Returns:
        The screenshot image with a description.
    """
    img = Image.open("screenshot.png")
    return [{"type": "image", "image": img}, {"type": "text", "text": "Here is the screenshot."}]

Các hình ảnh được trả về sẽ tự động được chèn vào cuộc trò chuyện và truyền cho VLM cho các lượt sinh tiếp theo.

Huấn luyện Mô hình Ngôn ngữ Thị giác

DistillationTrainer hỗ trợ chưng cất các mô hình Thị giác-Ngôn ngữ (VLM) trên các tập dữ liệu đa phương thức chứa cả văn bản và hình ảnh. Truyền một VLM làm cả học sinh lẫn giáo viên, và cung cấp một tập dữ liệu chỉ chứa prompt với cột image (một hình ảnh cho mỗi mẫu) hoặc cột images (danh sách hình ảnh cho mỗi mẫu). Để biết thêm thông tin về cấu trúc tập dữ liệu mong đợi, hãy xem phần Định dạng tập dữ liệu — Tập dữ liệu thị giác.

Đã kiểm tra với:

  • Gemma 3 — ví dụ: google/gemma-3-4b-it
  • LLaVA-NeXT — ví dụ: llava-hf/llava-v1.6-mistral-7b-hf
  • Qwen2-VL — ví dụ: Qwen/Qwen2-VL-2B-Instruct
  • Qwen2.5-VL — ví dụ: Qwen/Qwen2.5-VL-3B-Instruct

Không đảm bảo tương thích với tất cả các VLM. Nếu bạn cho rằng một model nên được hỗ trợ, hãy mở một issue trên GitHub — hoặc tốt hơn nữa, gửi một pull request kèm theo các thay đổi cần thiết.

Giao diện dòng lệnh

Sử dụng trl distillation CLI để khởi động huấn luyện chưng cất từ dòng lệnh. Nó hỗ trợ huấn luyện đầy đủ và LoRA thông qua các cờ ModelConfig tiêu chuẩn.

# Full training:
trl distillation \
    --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback-prompt \
    --learning_rate 2e-5 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --output_dir distilled-model \
    --num_train_epochs 1
# LoRA:
trl distillation \
    --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback-prompt \
    --learning_rate 2e-4 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --output_dir distilled-model \
    --num_train_epochs 1 \
    --use_peft \
    --lora_r 64 \
    --lora_alpha 16

DistillationTrainer

lớp trl.DistillationTrainer

< >

( model: str | PreTrainedModel | PeftModelteacher_model: str | transformers.modeling_utils.PreTrainedModel | None = Noneargs: trl.trainer.distillation_config.DistillationConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)quantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = Nonetools: list[collections.abc.Callable] | None = None )

Tham số

  • model (str hoặc PreTrainedModel hoặc PeftModel) — Mô hình cần huấn luyện. Có thể là:
    • Một chuỗi, là model id của một model được huấn luyện trước lưu trữ trong một model repo trên huggingface.co, hoặc một đường dẫn đến một thư mục chứa các trọng số model được lưu bằng save_pretrained, ví dụ: './my_model_directory/'. Model được nạp bằng <ModelArchitecture>.from_pretrained (trong đó <ModelArchitecture> được suy ra từ cấu hình model) với các tham số từ khóa trong args.model_init_kwargs. Nếu dtype không được chỉ định trong args.model_init_kwargs, giá trị mặc định sẽ là float32. Điều này khác với from_pretrained, nơi mà (từ Transformers v5) dtype được suy ra từ cấu hình model.
    • Một đối tượng PreTrainedModel. Chỉ hỗ trợ các mô hình ngôn ngữ nhân quả.
    • Một đối tượng PeftModel. Chỉ hỗ trợ các mô hình ngôn ngữ nhân quả.
  • teacher_model (str hoặc PreTrainedModel, optional) — Mô hình teacher mà phân phối token tiếp theo của nó được dùng để huấn luyện student sao cho khớp. Có thể là model id / đường dẫn (được nạp giống như model, sử dụng args.teacher_model_init_kwargs) hoặc một PreTrainedModel đã được khởi tạo. Nó phải chia sẻ từ vựng với student. Có thể được bỏ qua bởi các lớp con cung cấp teacher theo cách khác (ví dụ: một máy chủ từ xa).
  • args (DistillationConfig, tuỳ chọn) — Cấu hình cho trainer này. Nếu là None, một cấu hình mặc định sẽ được sử dụng.
  • train_dataset (Dataset hoặc IterableDataset) — Dataset được sử dụng cho huấn luyện. Nó phải bao gồm một cột "prompt". Bất kỳ cột bổ sung nào trong dataset sẽ bị bỏ qua. Định dạng của các mẫu có thể là:
    • Chuẩn: Mỗi mẫu chứa văn bản thuần túy.
    • Conversational: Mỗi mẫu chứa các tin nhắn có cấu trúc (ví dụ: role và content).

    Khi train_dataset là một IterableDataset (ví dụ: một dataset dạng streaming), max_steps phải được cài đặt trong các đối số huấn luyện, vì độ dài của nó không thể suy ra được và tổng số bước huấn luyện là cần thiết để giới hạn vòng lặp huấn luyện và cấu hình trình lập lịch tốc độ học.

  • eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict hoặc dict[str, Dataset | IterableDataset]) — Dataset được sử dụng để đánh giá. Nó phải đáp ứng các yêu cầu tương tự như train_dataset.
  • processing_class (PreTrainedTokenizerBase, ProcessorMixin, tùy chọn) — Lớp xử lý được dùng để xử lý dữ liệu. Bên đệm (padding side) phải được đặt là “left”. Nếu None, lớp xử lý sẽ được nạp từ tên mô hình bằng from_pretrained. Một token đệm, tokenizer.pad_token, phải được đặt. Nếu lớp xử lý chưa đặt token đệm, tokenizer.eos_token sẽ được dùng làm mặc định.
  • callbacks (danh sách TrainerCallback, tùy chọn) — Danh sách các callback để tùy chỉnh vòng lặp huấn luyện. Những callback này sẽ được thêm vào danh sách các callback mặc định được mô tả chi tiết tại đây.

    Nếu bạn muốn xóa một trong các callback mặc định đang được sử dụng, hãy dùng phương thức remove_callback.

  • optimizers (tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], tùy chọn, mặc định là (None, None)) — Một tuple chứa optimizer và scheduler cần sử dụng. Mặc định sẽ là một instance của AdamW trên model của bạn và một scheduler được cung cấp bởi get_linear_schedule_with_warmup được điều khiển bởi args.
  • quantization_config (BitsAndBytesConfig, tuỳ chọn) — Cấu hình lượng tử hóa được sử dụng khi tải mô hình từ một định danh mô hình. Kết hợp với peft_config cho huấn luyện QLoRA. Bị bỏ qua nếu mô hình đã được khởi tạo.
  • peft_config (PeftConfig, tùy chọn) — Cấu hình PEFT được sử dụng để bọc model. Nếu là None, model sẽ không được bọc.
  • tools (list of Callable, optional) — Một danh sách các hàm công cụ callable mà mô hình có thể gọi trong quá trình sinh. Mỗi công cụ nên là một hàm Python chuẩn với các đối số và giá trị trả về được chú thích kiểu (type-hint) đúng cách, cùng một docstring theo phong cách Google mô tả mục đích, các đối số và giá trị trả về. Để biết thêm chi tiết, xem: https://huggingface.co/docs/transformers/en/chat_extras#passing-tools. Mô hình sử dụng tên hàm, type hints và docstring để xác định cách gọi nó. Đảm bảo rằng chat template của mô hình hỗ trợ việc sử dụng công cụ và rằng nó đã được fine-tune cho việc gọi công cụ.

Trainer cho kỹ thuật chưng cất tri thức. Mô hình học sinh được huấn luyện theo chính sách (on-policy) — tự sinh ra các phần hoàn thiện — để khớp với phân phối token tiếp theo của mô hình giáo viên dưới dạng phân kỳ Jensen-Shannon tổng quát (nội suy giữa KL tiến, KL lùi và JSD thông qua beta), như được giới thiệu trong On-Policy Distillation of Language Models.

Ví dụ:

>>> from trl import DistillationTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("trl-lib/tldr", split="train")

>>> trainer = DistillationTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()

train

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Tham số

  • resume_from_checkpoint (str hoặc bool, tùy chọn) — Nếu là str, đường dẫn cục bộ đến một checkpoint đã lưu bởi một phiên Trainer trước đó. Nếu là bool và bằng True, tải checkpoint cuối cùng trong args.output_dir do một phiên Trainer trước đó lưu lại. Nếu có, quá trình huấn luyện sẽ tiếp tục từ trạng thái model/optimizer/scheduler được tải ở đây.
  • trial (optuna.Trial hoặc dict[str, Any], tùy chọn) — Lần chạy thử nghiệm hoặc từ điển siêu tham số cho việc tìm kiếm siêu tham số.
  • ignore_keys_for_eval (list[str], tùy chọn) — Một danh sách các khóa trong đầu ra của mô hình của bạn (nếu đó là một từ điển) cần được bỏ qua khi thu thập các dự đoán để đánh giá trong quá trình huấn luyện.

Trả về

~trainer_utils.TrainOutput

Đối tượng chứa số bước toàn cục, tổn thất huấn luyện và các chỉ số.

Điểm vào chính cho quá trình huấn luyện.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Sẽ lưu mô hình, để bạn có thể tải lại bằng from_pretrained().

Chỉ lưu từ tiến trình chính.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Tham số

  • commit_message (str, tùy chọn, mặc định là "End of training") — Thông điệp để commit khi đẩy lên.
  • blocking (bool, tùy chọn, mặc định là True) — Xác định xem hàm có chỉ trả về khi git push đã hoàn tất hay không.
  • token (str, tùy chọn, mặc định là None) — Token có quyền ghi để ghi đè lên các args gốc của Trainer.
  • revision (str, tùy chọn) — Phiên bản git để commit từ. Mặc định là đầu của nhánh “main”.
  • private (bool, tuỳ chọn) — Xác định xem có đặt kho thành riêng tư khi tạo hay không. Mặc định là args.hub_private_repo. Không có tác dụng nếu kho đã tồn tại.
  • kwargs (dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến ~Trainer.create_model_card.

Tải self.model và self.processing_class lên 🤗 model hub tại repo self.args.hub_model_id.

DistillationConfig

lớp trl.DistillationConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool | None = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falseteacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Nonedisable_dropout: bool = Falsemax_completion_length: int | None = 512ds3_gather_for_generation: bool = Trueshuffle_dataset: bool | None = Truepad_to_multiple_of: int | str | None = 'auto'temperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict | str | None = Nonechat_template_kwargs: dict | str | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_structured_outputs_regex: str | None = Nonevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonevllm_tensor_parallel_size: int = 1beta: float = 1.0max_tool_calling_iterations: int | None = Nonelog_completions: bool = Falsenum_completions_to_print: int | None = Nonelog_unique_prompts: bool = False )

Các tham số kiểm soát mô hình và mô hình teacher

  • model_init_kwargs (str hoặc dict[str, Any], tùy chọn) — Các đối số dạng từ khóa cho AutoModelForCausalLM.from_pretrained, được sử dụng khi đối số model của trainer được cung cấp dưới dạng chuỗi. Giá trị revision cũng được sử dụng khi nạp lớp xử lý.
  • trust_remote_code (bool, tùy chọn, mặc định là False) — Có cho phép tải các model và tokenizer có kèm theo mã Python tùy chỉnh từ Hub hay không. Tham số này được chuyển tiếp đến from_pretrained và from_pretrained, cho cả student lẫn teacher.
  • teacher_model_name_or_path (str, tùy chọn) — Tên hoặc đường dẫn của model giáo viên. Được sử dụng khi model giáo viên được tải cục bộ.
  • teacher_model_revision (str, tùy chọn) — Phiên bản của mô hình teacher (ví dụ: tên nhánh, tag, hoặc commit hash).
  • teacher_model_init_kwargs (str hoặc dict[str, Any], tùy chọn) — Các đối số dạng từ khóa được truyền vào AutoModelForCausalLM.from_pretrained khi khởi tạo mô hình teacher từ một chuỗi.
  • disable_dropout (bool, tùy chọn, mặc định là False) — Có vô hiệu hóa dropout trong mô hình sinh viên trong quá trình huấn luyện hay không.

Các tham số kiểm soát tiền xử lý dữ liệu

  • remove_unused_columns (bool, tùy chọn, mặc định là False) — Có nên chỉ giữ lại cột "prompt" trong tập dữ liệu hay không. Trainer sử dụng cột prompt thô và tạo ra các phần hoàn thành theo chính sách, do đó giá trị mặc định là False.
  • max_completion_length (int hoặc None, tùy chọn, mặc định là 512) — Số lượng token tối đa được tạo cho mỗi completion trong quá trình tạo on-policy.
  • ds3_gather_for_generation (bool, tùy chọn, mặc định là True) — Cài đặt này áp dụng cho DeepSpeed ZeRO-3. Nếu được bật, trọng số của mô hình chính sách sẽ được thu thập (gather) cho quá trình sinh, giúp cải thiện tốc độ sinh. Tuy nhiên, việc tắt tùy chọn này cho phép huấn luyện các mô hình vượt quá dung lượng VRAM của một GPU đơn lẻ, dù phải đánh đổi bằng tốc độ sinh chậm hơn. Việc tắt tùy chọn này không tương thích với sinh bằng vLLM.
  • shuffle_dataset (bool, tùy chọn, mặc định là True) — Có nên xáo trộn bộ dữ liệu huấn luyện hay không.
  • pad_to_multiple_of (int hoặc str, tùy chọn, mặc định là "auto") — Nếu được đặt, các id của prompts và completions sẽ được đệm (padding) đến một bội số của giá trị này. "auto" sẽ đệm đến bội số của 128 trên Neuron (AWS Trainium), nơi chỉ biên dịch một lần cho mỗi hình dạng đầu vào, và không đệm ở các nơi khác.

Các tham số kiểm soát quá trình sinh

  • temperature (float, tùy chọn, mặc định là 1.0) — Nhiệt độ cho việc lấy mẫu trong quá trình sinh và cho việc tính toán tổn thất chưng cất. Các giá trị cao hơn tạo ra các phân phối xác suất mềm hơn.
  • top_p (float, tùy chọn, mặc định là 1.0) — Tham số lấy mẫu Top-p (nucleus) cho việc tạo nội dung on-policy.
  • top_k (int, tùy chọn, mặc định là 0) — Tham số lấy mẫu top-k cho việc tạo nội dung on-policy. 0 tắt bộ lọc top-k.
  • min_p (float, tùy chọn) — Xác suất tối thiểu của token, sẽ được nhân với xác suất của token có khả năng cao nhất. Giá trị này phải nằm trong khoảng từ 0.0 đến 1.0. Các giá trị điển hình nằm trong khoảng 0.01-0.2.
  • generation_kwargs (dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung để truyền cho GenerationConfig (nếu dùng transformers) hoặc SamplingParams (nếu dùng vLLM) khi lấy mẫu các câu trả lời hoàn chỉnh. Tham số này có thể được dùng để tùy chỉnh thêm hành vi sinh, chẳng hạn như đặt suppress_tokens, num_beams, v.v. Nếu nó chứa các khóa xung đột với các tham số sinh khác (như min_p, top_p, v.v.), chúng sẽ ghi đè lên các tham số đó.
  • chat_template_kwargs (dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung để truyền cho hàm apply_chat_template khi tạo các câu trả lời hoàn chỉnh.
  • repetition_penalty (float, tùy chọn, mặc định là 1.0) — Giá trị động áp dụng hình phạt cho các token mới dựa trên việc chúng có xuất hiện trong prompt và văn bản đã tạo ra cho đến hiện tại hay không. Các giá trị > 1.0 khuyến khích mô hình sử dụng các token mới, trong khi các giá trị < 1.0 khuyến khích mô hình lặp lại các token.
  • cache_implementation (str, tùy chọn) — Cách triển khai phương pháp cache để tạo nhanh hơn khi use_vllm được đặt thành False.

Các tham số kiểm soát việc tăng tốc sinh nội dung được hỗ trợ bởi vLLM

  • use_vllm (bool, tùy chọn, mặc định là False) — Có sử dụng vLLM để tạo các câu trả lời on-policy từ mô hình sinh viên hay không.
  • vllm_mode (str, tùy chọn, mặc định là "colocate") — Chế độ cho tích hợp vLLM của student. Hoặc là "server" hoặc là "colocate".
  • vllm_model_impl (str, tuỳ chọn, mặc định là "vllm") — Backend triển khai mô hình cho vLLM. Sử dụng "vllm" hoặc "transformers".
  • vllm_enable_sleep_mode (bool, tùy chọn, mặc định là False) — Bật chế độ ngủ của vLLM để chuyển trọng số của student ra ngoài trong bước tối ưu hóa.
  • vllm_structured_outputs_regex (str, tùy chọn) — Mẫu regex cho structured outputs của vLLM.

Các tham số điều khiển máy chủ vLLM (chỉ được sử dụng khi `vllm_mode` là `"server"`)

  • vllm_server_base_url (str, tùy chọn) — URL gốc cho máy chủ vLLM của student. Nếu được cung cấp, vllm_server_host và vllm_server_port sẽ bị bỏ qua.
  • vllm_server_host (str, tùy chọn, mặc định là "0.0.0.0") — Host của máy chủ vLLM sinh viên.
  • vllm_server_port (int, tùy chọn, mặc định là 8000) — Cổng của máy chủ vLLM sinh viên.
  • vllm_server_timeout (float, tuỳ chọn, mặc định là 240.0) — Thời gian chờ để kết nối với máy chủ vLLM của student.
  • vllm_group_port (int, tùy chọn, mặc định là 51216) — Cổng cho nhóm cập nhật trọng số vLLM (trình liên lạc NCCL).

Các tham số điều khiển việc thực thi vLLM colocated (chỉ được sử dụng khi `vllm_mode` là `"colocate"`)

  • vllm_gpu_memory_utilization (float, không bắt buộc, mặc định là 0.3) — Tỷ lệ sử dụng bộ nhớ GPU cho engine vLLM của student được đặt cùng vị trí (colocated).
  • vllm_max_model_length (int, tùy chọn) — Chiều dài chuỗi tối đa của mô hình cho bộ xử lý vLLM được đặt cùng vị trí.
  • vllm_tensor_parallel_size (int, tùy chọn, mặc định là 1) — Kích thước song song tensor cho engine vLLM của student được đặt cùng vị trí.

Các tham số kiểm soát quá trình huấn luyện

  • beta (float, tùy chọn, mặc định là 1.0) — Hệ số nội suy cho tổn thất Divergence Jensen-Shannon tổng quát. Khi 0.0, tổn thất là divergence KL thuận. Khi 1.0, tổn thất là divergence KL nghịch. Khi 0.5, đó là JSD chuẩn. Khác với beta của GRPO (hệ số phạt KL so với mô hình tham chiếu), ở đây nó chọn chính divergence; không có phạt KL mô hình tham chiếu.
  • max_tool_calling_iterations (int, tùy chọn) — Số lượt gọi công cụ tối đa khi huấn luyện một agent. Nếu là None, sẽ không có giới hạn và quá trình sinh sẽ dừng lại khi mô hình sinh ra một lượt phản hồi không có lệnh gọi công cụ nào, khi phần hoàn thành (bao gồm tất cả các lượt và kết quả công cụ) đạt đến max_completion_length token, hoặc khi toàn bộ chuỗi đạt đến độ dài tối đa của mô hình (vllm_max_model_length với vllm_mode="colocate", còn lại là max_position_embeddings của mô hình).

Các tham số kiểm soát việc ghi log

  • log_completions (bool, tùy chọn, mặc định là False) — Có nên ghi nhật ký một mẫu các cặp (prompt, completion) mỗi logging_steps bước hay không. Nếu rich được cài đặt, nó sẽ in ra mẫu đó. Nếu ghi nhật ký wandb và/hoặc trackio được bật, nó sẽ ghi mẫu đó vào wandb và/hoặc trackio.
  • num_completions_to_print (int, tùy chọn) — Số lượng completions được in ra bằng rich. Nếu là None, tất cả các completions sẽ được ghi log.
  • log_unique_prompts (bool, tùy chọn, mặc định là False) — Có ghi log các prompt duy nhất hay không. Nếu True, chỉ các prompt duy nhất được ghi log. Nếu False, tất cả các prompt đều được ghi log.

Lớp cấu hình cho DistillationTrainer.

Mở rộng TrainingArguments với các tham số cụ thể cho kỹ thuật chưng cất tri thức. Tất cả các trường cần thiết được khai báo tại đây.

Sử dụng HfArgumentParser, chúng ta có thể chuyển lớp này thành các đối số argparse có thể được chỉ định trên dòng lệnh.

Các tham số này có giá trị mặc định khác với TrainingArguments:

  • logging_steps: Mặc định là 10 thay vì 500.
  • gradient_checkpointing: Mặc định là True thay vì False.
  • bf16: Mặc định là True nếu fp16 không được đặt, thay vì False.
  • learning_rate: Mặc định là 1e-6 thay vì 5e-5.
Update on GitHub