TRL documentation
Trainer Chưng cất
Trainer Chưng cất
Tổng quan
Distillation Trainer triển khai kỹ thuật chưng cất tri thức on-policy như được mô tả trong On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes của Rishabh Agarwal, Nino Vieillard, Yongchao Zhou, Piotr Stanczyk, Sabela Ramos, Matthieu Geist và Olivier Bachem.
Tóm tắt từ bài báo như sau:
Nén mô hình (Knowledge distillation - KD) được sử dụng rộng rãi để giảm chi phí suy luận và dung lượng bộ nhớ của mô hình giáo viên (teacher model) bằng cách huấn luyện một mô hình học sinh (student model) nhỏ hơn. Tuy nhiên, các phương pháp KD hiện tại cho các mô hình chuỗi tự hồi quy (auto-regressive sequence models) gặp phải vấn đề lệch phân phối (distribution mismatch) giữa các chuỗi đầu ra được xem trong quá trình huấn luyện và các chuỗi do mô hình học sinh tạo ra trong quá trình suy luận. Để giải quyết vấn đề này, chúng tôi giới thiệu Nén kiến thức tổng quát (Generalized Knowledge Distillation - GKD). Thay vì chỉ dựa vào một tập hợp cố định các chuỗi đầu ra, GKD huấn luyện mô hình học sinh trên các chuỗi đầu ra do chính nó tạo ra bằng cách tận dụng phản hồi từ mô hình giáo viên trên các chuỗi đó. Khác với các tiếp cận KD có giám sát, GKD cũng cung cấp sự linh hoạt để sử dụng các hàm mất mát (loss functions) thay thế giữa mô hình học sinh và mô hình giáo viên, điều này có thể hữu ích khi mô hình học sinh thiếu khả năng diễn đạt (expressivity) để bắt chước phân phối của mô hình giáo viên.
DistillationTrainer huấn luyện một mô hình student nhỏ hơn để khớp với phân phối next-token của teacher trên các sinh thành on-policy của chính student. Nó tạo ra các completion của student theo on-policy (tùy chọn có hỗ trợ vLLM) và khớp teacher trên toàn bộ phân phối next-token của nó bằng một tổn thất Jensen-Shannon divergence chia chunk tiết kiệm bộ nhớ, nhờ đó phân phối dense của teacher không bao giờ được vật chất hóa hoàn toàn.
Trainer này được đóng góp bởi Carlos Miguel Patiño.
Đối với phiên bản bất đồng bộ tách rời quá trình sinh ra khỏi huấn luyện và chấm điểm dựa trên một teacher được cung cấp qua HTTP thay vì một bước forward cục bộ, hãy xem AsyncDistillationTrainer.
Bắt đầu nhanh
Ví dụ này minh họa cách huấn luyện một mô hình bằng phương pháp chưng cất. Chúng ta chưng cất một mô hình Qwen 2.5 0.5B Instruct từ một mô hình giáo viên Qwen 2.5 1.5B Instruct trên các prompt từ bộ dữ liệu prompt UltraFeedback. Bạn có thể xem dữ liệu trong bộ dữ liệu tại đây:
Dưới đây là script để huấn luyện mô hình.
# train_distillation.py
from datasets import load_dataset
from trl import DistillationTrainer
dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")
trainer = DistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
train_dataset=dataset,
)
trainer.train()Chạy script bằng lệnh sau:
torchrun --nproc_per_node 8 train_distillation.py
Đi sâu hơn vào phương pháp chưng cất
On-policy knowledge distillation huấn luyện một mô hình sinh viên (student) để tái tạo phân phối token tiếp theo của mô hình giáo viên (teacher) trên các phần hoàn thành (completions) do chính sinh viên tạo ra, thay vì trên một tập hợp cố định các đầu ra của giáo viên. Việc học từ chính các phần tạo ra của mình cho phép sinh viên tự sửa các lỗi của mình, điều này thường cho hiệu suất vượt trội hơn so với off-policy distillation. Phần này phân tích cách thức hoạt động trong thực tế, bao gồm hai bước chính: tạo các phần hoàn thành và tính toán loss.
Tạo các câu trả lời hoàn chỉnh
Tại mỗi bước huấn luyện, mô hình sinh viên tạo ra một lô các câu hoàn thành cho các prompt được lấy mẫu.
Tính toán tổn thất
Mất mát là độ phân kỳ Jensen-Shannon tổng quát (JSD) giữa phân phối của học sinh và phân phối của giáo viên trên các token hoàn thành được tạo ra, nội suy bởi beta và được định nghĩa là:
trong đó là -hỗn hợp của hai phân phối. Các điểm đầu mút rút gọn thành các phân kỳ thuần túy: beta=0.0 cho KL thuận và beta=1.0 KL nghịch .
Trong thực tế, phép chiếu sang logits từ vựng và độ phân kỳ được tính toán theo từng khối, do đó bộ nhớ kích hoạt đỉnh không tăng theo tensor logits có kích thước từ vựng đầy đủ × độ dài chuỗi. Xem Giảm mức sử dụng bộ nhớ.
Kiểu dữ liệu tập dữ liệu dự kiến
Bộ dữ liệu nên được định dạng dưới dạng bộ dữ liệu đối thoại chỉ chứa prompt. Học sinh tự tạo các phần hoàn thành của mình theo chính sách, vì vậy chỉ cần prompt:
{"prompt": [{"role": "user", "content": "What color is the sky?"}]}Các chỉ số được ghi log
Trong quá trình huấn luyện và đánh giá, chúng ta ghi lại các chỉ số sau:
num_tokens: Tổng số token đã được xử lý cho đến hiện tại, bao gồm cả prompt và completion. Khi sử dụng công cụ, chỉ các token không phải của công cụ mới được tính.step_time: Thời gian trung bình (tính bằng giây) cho mỗi bước huấn luyện (bao gồm cả quá trình sinh).completions/mean_length: Độ dài trung bình của các phần hoàn thành được tạo ra. Khi sử dụng công cụ, chỉ các token không phải của công cụ mới được tính.completions/min_length: Độ dài tối thiểu của các phần hoàn thành được tạo ra. Khi sử dụng công cụ, chỉ các token không phải của công cụ mới được tính.completions/max_length: Độ dài tối đa của các phần hoàn thành được tạo ra. Khi sử dụng công cụ, chỉ các token không phải của công cụ mới được tính.completions/mean_terminated_length: Độ dài trung bình của các chuỗi hoàn thành được tạo ra kết thúc bằng EOS. Khi sử dụng công cụ, chỉ các token không phải công cụ được tính.completions/min_terminated_length: Độ dài tối thiểu của các phần hoàn thành được tạo ra kết thúc bằng EOS. Khi sử dụng công cụ, chỉ các token không phải công cụ được tính.completions/max_terminated_length: Độ dài tối đa của các completion được tạo ra kết thúc bằng EOS. Khi sử dụng công cụ, chỉ các token không phải công cụ được tính.completions/clipped_ratio: Tỷ lệ các câu trả lời bị cắt (clipped).tools/call_frequency: Số lần gọi công cụ trung bình cho mỗi lần hoàn thành trong lô sinh. Chỉ được ghi lại khi cótoolsđược cung cấp.tools/failure_frequency: Tỷ lệ các lần gọi công cụ bị thất bại (công cụ không được tìm thấy, gây ra ngoại lệ, hoặc loại gọi không được hỗ trợ). Giá trị là0.0khi không có công cụ nào được gọi. Chỉ được ghi log khitoolsđược cung cấp.entropy: Entropy trung bình của các dự đoán token trên các phần hoàn thành được tạo ra (đơn vị nats).
Tùy chỉnh
Tăng tốc huấn luyện với sinh nội dung do vLLM hỗ trợ
Việc tạo sinh (generation) thường là nút thắt cổ chai chính khi huấn luyện bằng các phương pháp on-policy. Để tăng tốc quá trình tạo sinh, bạn có thể sử dụng vLLM, một bộ máy suy luận (inference engine) có thông lượng cao và độ trễ thấp cho LLM. Để bật tính năng này, trước tiên hãy cài đặt gói bằng
pip install trl[vllm]
Chúng tôi hỗ trợ hai cách sử dụng vLLM trong quá trình huấn luyện: chế độ colocate và chế độ server.
Tùy chọn 1: Chế độ Colocate
Trong chế độ này, vLLM chạy bên trong tiến trình trainer và chia sẻ bộ nhớ GPU với mô hình huấn luyện. Điều này giúp tránh việc khởi động một server riêng và có thể cải thiện mức sử dụng GPU, nhưng có thể dẫn đến tranh chấp bộ nhớ trên các GPU huấn luyện. Đây là chế độ mặc định.
from trl import DistillationConfig
training_args = DistillationConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)Tùy chọn 2: Chế độ máy chủ
Trong chế độ này, vLLM chạy trong một tiến trình riêng (và sử dụng các GPU riêng) và giao tiếp với trainer qua HTTP. Đây là lựa chọn lý tưởng nếu bạn có các GPU dành riêng cho suy luận.
Khởi động máy chủ vLLM:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1Bật chế độ máy chủ trong script huấn luyện của bạn:
from trl import DistillationConfig training_args = DistillationConfig( ..., use_vllm=True, vllm_mode="server", )
Hãy đảm bảo rằng server đang sử dụng các GPU khác với trainer, nếu không bạn có thể gặp lỗi NCCL. Bạn có thể chỉ định các GPU cần sử dụng bằng biến môi trường
CUDA_VISIBLE_DEVICES.
Tùy thuộc vào kích thước mô hình và yêu cầu bộ nhớ GPU tổng thể cho việc huấn luyện, bạn có thể cần điều chỉnh tham số
vllm_gpu_memory_utilizationtrong DistillationConfig để tránh tình trạng khai thác không đủ hoặc lỗi hết bộ nhớ.
Để biết thêm thông tin, hãy xem Tăng tốc huấn luyện với vLLM.
Huấn luyện adapter với PEFT
Chúng tôi hỗ trợ tích hợp chặt chẽ với thư viện 🤗 PEFT, cho phép bạn huấn luyện các adapter và chia sẻ chúng trên Hub thay vì huấn luyện toàn bộ mô hình sinh viên.
from datasets import load_dataset
from trl import DistillationTrainer
from peft import LoraConfig
dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")
trainer = DistillationTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
train_dataset=dataset,
peft_config=LoraConfig(),
)
trainer.train()Mất mát chưng cất đọc trực tiếp
lm_head.weightvà chạy phần thân học sinh mà không đi quaPeftModel.forward(). Do đó, các adapter trênlm_head(thông quatarget_modules) và các phương pháp học prompt (PromptTuning, PrefixTuning, P-Tuning) bị từ chối, vì chúng sẽ bị bỏ qua một cách im lặng. Để huấn luyện đầu ra, hãy dùngmodules_to_save=["lm_head"]thay thế.
Đào tạo Agent
DistillationTrainer hỗ trợ huấn luyện agent: sinh viên gọi công cụ trong quá trình sinh và được chưng cất trên quỹ đạo kết quả. Các token kết quả công cụ bị che khỏi loss, nên sinh viên chỉ được huấn luyện trên các token do chính nó sinh ra.
Công cụ
Tham số tools mong đợi một danh sách các hàm Python xác định các công cụ có sẵn cho tác tử:
from trl import DistillationTrainer
trainer = DistillationTrainer(
tools=[tool1, tool2],
...,
)Mỗi công cụ phải là một hàm Python chuẩn với tham số và kiểu trả về có chú thích kiểu (type-hint), cùng với một docstring theo phong cách Google mô tả mục đích, các tham số và giá trị trả về. Để biết thêm chi tiết, hãy xem hướng dẫn Truyền công cụ.
Vòng lặp gọi công cụ yêu cầu mẫu chat phải giữ nguyên phần đầu (việc thêm một thông điệp công cụ không được làm thay đổi cách các thông điệp trước đó được hiển thị). Đối với các họ model đã biết (ví dụ: Qwen3, DeepSeek-V3), TRL sẽ tự động thay thế bằng mẫu huấn luyện đã vá khi công cụ được bật. Xem Mẫu Chat để biết danh sách đầy đủ.
Sử dụng max_tool_calling_iterations trong DistillationConfig để giới hạn số lượt gọi công cụ. Mặc định không có giới hạn, và quá trình sinh sẽ dừng khi sinh viên tạo ra lượt phản hồi không có lời gọi công cụ nào, khi phần hoàn thành (tất cả các lượt và kết quả công cụ) đạt max_completion_length token, hoặc khi toàn bộ chuỗi đạt độ dài tối đa của mô hình (vllm_max_model_length với vllm_mode="colocate", còn lại là max_position_embeddings của mô hình).
Ví dụ:
from trl import DistillationTrainer
def multiply(a: int, b: int) -> int:
"""
Multiplies two integers.
Args:
a: The first integer.
b: The second integer.
Returns:
The product of the two integers.
"""
return a * b
trainer = DistillationTrainer(
tools=[multiply],
...,
)Công cụ bất đồng bộ (async) hiện chưa được hỗ trợ — hãy truyền các hàm đồng bộ (synchronous).
Phản hồi công cụ đa phương thức
Công cụ có thể trả về hình ảnh cùng với văn bản bằng cách trả về một danh sách các khối nội dung. Điều này hữu ích cho việc huấn luyện tác tử VLM, nơi công cụ cung cấp phản hồi trực quan (ví dụ: ảnh chụp màn hình, biểu đồ, hình ảnh từ camera).
from PIL import Image
def take_screenshot() -> list:
"""
Takes a screenshot of the current screen.
Returns:
The screenshot image with a description.
"""
img = Image.open("screenshot.png")
return [{"type": "image", "image": img}, {"type": "text", "text": "Here is the screenshot."}]Các hình ảnh được trả về sẽ tự động được chèn vào cuộc trò chuyện và truyền cho VLM cho các lượt sinh tiếp theo.
Huấn luyện Mô hình Ngôn ngữ Thị giác
DistillationTrainer hỗ trợ chưng cất các mô hình Thị giác-Ngôn ngữ (VLM) trên các tập dữ liệu đa phương thức chứa cả văn bản và hình ảnh. Truyền một VLM làm cả học sinh lẫn giáo viên, và cung cấp một tập dữ liệu chỉ chứa prompt với cột image (một hình ảnh cho mỗi mẫu) hoặc cột images (danh sách hình ảnh cho mỗi mẫu). Để biết thêm thông tin về cấu trúc tập dữ liệu mong đợi, hãy xem phần Định dạng tập dữ liệu — Tập dữ liệu thị giác.
Đã kiểm tra với:
- Gemma 3 — ví dụ:
google/gemma-3-4b-it - LLaVA-NeXT — ví dụ:
llava-hf/llava-v1.6-mistral-7b-hf - Qwen2-VL — ví dụ:
Qwen/Qwen2-VL-2B-Instruct - Qwen2.5-VL — ví dụ:
Qwen/Qwen2.5-VL-3B-Instruct
Không đảm bảo tương thích với tất cả các VLM. Nếu bạn cho rằng một model nên được hỗ trợ, hãy mở một issue trên GitHub — hoặc tốt hơn nữa, gửi một pull request kèm theo các thay đổi cần thiết.
Giao diện dòng lệnh
Sử dụng trl distillation CLI để khởi động huấn luyện chưng cất từ dòng lệnh. Nó hỗ trợ huấn luyện đầy đủ và LoRA thông qua các cờ ModelConfig tiêu chuẩn.
# Full training:
trl distillation \
--model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
--dataset_name trl-lib/ultrafeedback-prompt \
--learning_rate 2e-5 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8 \
--output_dir distilled-model \
--num_train_epochs 1# LoRA:
trl distillation \
--model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--teacher_model_name_or_path Qwen/Qwen2.5-1.5B-Instruct \
--dataset_name trl-lib/ultrafeedback-prompt \
--learning_rate 2e-4 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 8 \
--output_dir distilled-model \
--num_train_epochs 1 \
--use_peft \
--lora_r 64 \
--lora_alpha 16DistillationTrainer
lớp trl.DistillationTrainer
< source >( model: str | PreTrainedModel | PeftModelteacher_model: str | transformers.modeling_utils.PreTrainedModel | None = Noneargs: trl.trainer.distillation_config.DistillationConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)quantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = Nonetools: list[collections.abc.Callable] | None = None )
Tham số
- model (
strhoặc PreTrainedModel hoặcPeftModel) — Mô hình cần huấn luyện. Có thể là:- Một chuỗi, là model id của một model được huấn luyện trước lưu trữ trong một model repo trên huggingface.co, hoặc một
đường dẫn đến một thư mục chứa các trọng số model được lưu bằng
save_pretrained, ví dụ:
'./my_model_directory/'. Model được nạp bằng<ModelArchitecture>.from_pretrained(trong đó<ModelArchitecture>được suy ra từ cấu hình model) với các tham số từ khóa trongargs.model_init_kwargs. Nếudtypekhông được chỉ định trongargs.model_init_kwargs, giá trị mặc định sẽ làfloat32. Điều này khác với from_pretrained, nơi mà (từ Transformers v5) dtype được suy ra từ cấu hình model. - Một đối tượng PreTrainedModel. Chỉ hỗ trợ các mô hình ngôn ngữ nhân quả.
- Một đối tượng
PeftModel. Chỉ hỗ trợ các mô hình ngôn ngữ nhân quả.
- Một chuỗi, là model id của một model được huấn luyện trước lưu trữ trong một model repo trên huggingface.co, hoặc một
đường dẫn đến một thư mục chứa các trọng số model được lưu bằng
save_pretrained, ví dụ:
- teacher_model (
strhoặc PreTrainedModel, optional) — Mô hình teacher mà phân phối token tiếp theo của nó được dùng để huấn luyện student sao cho khớp. Có thể là model id / đường dẫn (được nạp giống nhưmodel, sử dụngargs.teacher_model_init_kwargs) hoặc một PreTrainedModel đã được khởi tạo. Nó phải chia sẻ từ vựng với student. Có thể được bỏ qua bởi các lớp con cung cấp teacher theo cách khác (ví dụ: một máy chủ từ xa). - args (DistillationConfig, tuỳ chọn) —
Cấu hình cho trainer này. Nếu là
None, một cấu hình mặc định sẽ được sử dụng. - train_dataset (Dataset hoặc IterableDataset) —
Dataset được sử dụng cho huấn luyện. Nó phải bao gồm một cột
"prompt". Bất kỳ cột bổ sung nào trong dataset sẽ bị bỏ qua. Định dạng của các mẫu có thể là:- Chuẩn: Mỗi mẫu chứa văn bản thuần túy.
- Conversational: Mỗi mẫu chứa các tin nhắn có cấu trúc (ví dụ: role và content).
Khi
train_datasetlà một IterableDataset (ví dụ: một dataset dạng streaming),max_stepsphải được cài đặt trong các đối số huấn luyện, vì độ dài của nó không thể suy ra được và tổng số bước huấn luyện là cần thiết để giới hạn vòng lặp huấn luyện và cấu hình trình lập lịch tốc độ học. - eval_dataset (Dataset, IterableDataset, DatasetDict, IterableDatasetDict hoặc
dict[str, Dataset | IterableDataset]) — Dataset được sử dụng để đánh giá. Nó phải đáp ứng các yêu cầu tương tự nhưtrain_dataset. - processing_class (PreTrainedTokenizerBase, ProcessorMixin, tùy chọn) —
Lớp xử lý được dùng để xử lý dữ liệu. Bên đệm (padding side) phải được đặt là “left”. Nếu
None, lớp xử lý sẽ được nạp từ tên mô hình bằng from_pretrained. Một token đệm,tokenizer.pad_token, phải được đặt. Nếu lớp xử lý chưa đặt token đệm,tokenizer.eos_tokensẽ được dùng làm mặc định. - callbacks (danh sách TrainerCallback, tùy chọn) —
Danh sách các callback để tùy chỉnh vòng lặp huấn luyện. Những callback này sẽ được thêm vào danh sách các callback mặc định được mô tả chi tiết tại đây.
Nếu bạn muốn xóa một trong các callback mặc định đang được sử dụng, hãy dùng phương thức remove_callback.
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None], tùy chọn, mặc định là(None, None)) — Một tuple chứa optimizer và scheduler cần sử dụng. Mặc định sẽ là một instance củaAdamWtrên model của bạn và một scheduler được cung cấp bởi get_linear_schedule_with_warmup được điều khiển bởiargs. - quantization_config (BitsAndBytesConfig, tuỳ chọn) —
Cấu hình lượng tử hóa được sử dụng khi tải mô hình từ một định danh mô hình. Kết hợp với
peft_configcho huấn luyện QLoRA. Bị bỏ qua nếu mô hình đã được khởi tạo. - peft_config (
PeftConfig, tùy chọn) — Cấu hình PEFT được sử dụng để bọc model. Nếu làNone, model sẽ không được bọc. - tools (list of
Callable, optional) — Một danh sách các hàm công cụ callable mà mô hình có thể gọi trong quá trình sinh. Mỗi công cụ nên là một hàm Python chuẩn với các đối số và giá trị trả về được chú thích kiểu (type-hint) đúng cách, cùng một docstring theo phong cách Google mô tả mục đích, các đối số và giá trị trả về. Để biết thêm chi tiết, xem: https://huggingface.co/docs/transformers/en/chat_extras#passing-tools. Mô hình sử dụng tên hàm, type hints và docstring để xác định cách gọi nó. Đảm bảo rằng chat template của mô hình hỗ trợ việc sử dụng công cụ và rằng nó đã được fine-tune cho việc gọi công cụ.
Trainer cho kỹ thuật chưng cất tri thức. Mô hình học sinh được huấn luyện theo chính sách (on-policy) — tự sinh ra các phần hoàn thiện — để khớp với phân phối token tiếp theo của mô hình giáo viên dưới dạng phân kỳ Jensen-Shannon tổng quát (nội suy giữa KL tiến, KL lùi và JSD thông qua beta), như được giới thiệu trong On-Policy Distillation of Language Models.
Ví dụ:
>>> from trl import DistillationTrainer
>>> from datasets import load_dataset
>>> dataset = load_dataset("trl-lib/tldr", split="train")
>>> trainer = DistillationTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... teacher_model="Qwen/Qwen2.5-1.5B-Instruct",
... train_dataset=dataset,
... )
>>> trainer.train()train
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Tham số
- resume_from_checkpoint (
strhoặcbool, tùy chọn) — Nếu làstr, đường dẫn cục bộ đến một checkpoint đã lưu bởi một phiênTrainertrước đó. Nếu làboolvà bằngTrue, tải checkpoint cuối cùng trong args.output_dir do một phiênTrainertrước đó lưu lại. Nếu có, quá trình huấn luyện sẽ tiếp tục từ trạng thái model/optimizer/scheduler được tải ở đây. - trial (
optuna.Trialhoặcdict[str, Any], tùy chọn) — Lần chạy thử nghiệm hoặc từ điển siêu tham số cho việc tìm kiếm siêu tham số. - ignore_keys_for_eval (
list[str], tùy chọn) — Một danh sách các khóa trong đầu ra của mô hình của bạn (nếu đó là một từ điển) cần được bỏ qua khi thu thập các dự đoán để đánh giá trong quá trình huấn luyện.
Trả về
~trainer_utils.TrainOutput
Đối tượng chứa số bước toàn cục, tổn thất huấn luyện và các chỉ số.
Điểm vào chính cho quá trình huấn luyện.
Sẽ lưu mô hình, để bạn có thể tải lại bằng from_pretrained().
Chỉ lưu từ tiến trình chính.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Tham số
- commit_message (
str, tùy chọn, mặc định là"End of training") — Thông điệp để commit khi đẩy lên. - blocking (
bool, tùy chọn, mặc định làTrue) — Xác định xem hàm có chỉ trả về khigit pushđã hoàn tất hay không. - token (
str, tùy chọn, mặc định làNone) — Token có quyền ghi để ghi đè lên các args gốc của Trainer. - revision (
str, tùy chọn) — Phiên bản git để commit từ. Mặc định là đầu của nhánh “main”. - private (
bool, tuỳ chọn) — Xác định xem có đặt kho thành riêng tư khi tạo hay không. Mặc định làargs.hub_private_repo. Không có tác dụng nếu kho đã tồn tại. - kwargs (
dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến~Trainer.create_model_card.
Tải self.model và self.processing_class lên 🤗 model hub tại repo self.args.hub_model_id.
DistillationConfig
lớp trl.DistillationConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool | None = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falseteacher_model_name_or_path: str | None = Noneteacher_model_revision: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Nonedisable_dropout: bool = Falsemax_completion_length: int | None = 512ds3_gather_for_generation: bool = Trueshuffle_dataset: bool | None = Truepad_to_multiple_of: int | str | None = 'auto'temperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict | str | None = Nonechat_template_kwargs: dict | str | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_structured_outputs_regex: str | None = Nonevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonevllm_tensor_parallel_size: int = 1beta: float = 1.0max_tool_calling_iterations: int | None = Nonelog_completions: bool = Falsenum_completions_to_print: int | None = Nonelog_unique_prompts: bool = False )
Các tham số kiểm soát mô hình và mô hình teacher
- model_init_kwargs (
strhoặcdict[str, Any], tùy chọn) — Các đối số dạng từ khóa choAutoModelForCausalLM.from_pretrained, được sử dụng khi đối sốmodelcủa trainer được cung cấp dưới dạng chuỗi. Giá trịrevisioncũng được sử dụng khi nạp lớp xử lý. - trust_remote_code (
bool, tùy chọn, mặc định làFalse) — Có cho phép tải các model và tokenizer có kèm theo mã Python tùy chỉnh từ Hub hay không. Tham số này được chuyển tiếp đến from_pretrained và from_pretrained, cho cả student lẫn teacher. - teacher_model_name_or_path (
str, tùy chọn) — Tên hoặc đường dẫn của model giáo viên. Được sử dụng khi model giáo viên được tải cục bộ. - teacher_model_revision (
str, tùy chọn) — Phiên bản của mô hình teacher (ví dụ: tên nhánh, tag, hoặc commit hash). - teacher_model_init_kwargs (
strhoặcdict[str, Any], tùy chọn) — Các đối số dạng từ khóa được truyền vàoAutoModelForCausalLM.from_pretrainedkhi khởi tạo mô hình teacher từ một chuỗi. - disable_dropout (
bool, tùy chọn, mặc định làFalse) — Có vô hiệu hóa dropout trong mô hình sinh viên trong quá trình huấn luyện hay không.
Các tham số kiểm soát tiền xử lý dữ liệu
- remove_unused_columns (
bool, tùy chọn, mặc định làFalse) — Có nên chỉ giữ lại cột"prompt"trong tập dữ liệu hay không. Trainer sử dụng cột prompt thô và tạo ra các phần hoàn thành theo chính sách, do đó giá trị mặc định làFalse. - max_completion_length (
inthoặcNone, tùy chọn, mặc định là512) — Số lượng token tối đa được tạo cho mỗi completion trong quá trình tạo on-policy. - ds3_gather_for_generation (
bool, tùy chọn, mặc định làTrue) — Cài đặt này áp dụng cho DeepSpeed ZeRO-3. Nếu được bật, trọng số của mô hình chính sách sẽ được thu thập (gather) cho quá trình sinh, giúp cải thiện tốc độ sinh. Tuy nhiên, việc tắt tùy chọn này cho phép huấn luyện các mô hình vượt quá dung lượng VRAM của một GPU đơn lẻ, dù phải đánh đổi bằng tốc độ sinh chậm hơn. Việc tắt tùy chọn này không tương thích với sinh bằng vLLM. - shuffle_dataset (
bool, tùy chọn, mặc định làTrue) — Có nên xáo trộn bộ dữ liệu huấn luyện hay không. - pad_to_multiple_of (
inthoặcstr, tùy chọn, mặc định là"auto") — Nếu được đặt, các id của prompts và completions sẽ được đệm (padding) đến một bội số của giá trị này."auto"sẽ đệm đến bội số của 128 trên Neuron (AWS Trainium), nơi chỉ biên dịch một lần cho mỗi hình dạng đầu vào, và không đệm ở các nơi khác.
Các tham số kiểm soát quá trình sinh
- temperature (
float, tùy chọn, mặc định là1.0) — Nhiệt độ cho việc lấy mẫu trong quá trình sinh và cho việc tính toán tổn thất chưng cất. Các giá trị cao hơn tạo ra các phân phối xác suất mềm hơn. - top_p (
float, tùy chọn, mặc định là1.0) — Tham số lấy mẫu Top-p (nucleus) cho việc tạo nội dung on-policy. - top_k (
int, tùy chọn, mặc định là0) — Tham số lấy mẫu top-k cho việc tạo nội dung on-policy.0tắt bộ lọc top-k. - min_p (
float, tùy chọn) — Xác suất tối thiểu của token, sẽ được nhân với xác suất của token có khả năng cao nhất. Giá trị này phải nằm trong khoảng từ0.0đến1.0. Các giá trị điển hình nằm trong khoảng0.01-0.2. - generation_kwargs (
dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung để truyền cho GenerationConfig (nếu dùng transformers) hoặcSamplingParams(nếu dùng vLLM) khi lấy mẫu các câu trả lời hoàn chỉnh. Tham số này có thể được dùng để tùy chỉnh thêm hành vi sinh, chẳng hạn như đặtsuppress_tokens,num_beams, v.v. Nếu nó chứa các khóa xung đột với các tham số sinh khác (nhưmin_p,top_p, v.v.), chúng sẽ ghi đè lên các tham số đó. - chat_template_kwargs (
dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung để truyền cho hàmapply_chat_templatekhi tạo các câu trả lời hoàn chỉnh. - repetition_penalty (
float, tùy chọn, mặc định là1.0) — Giá trị động áp dụng hình phạt cho các token mới dựa trên việc chúng có xuất hiện trong prompt và văn bản đã tạo ra cho đến hiện tại hay không. Các giá trị >1.0khuyến khích mô hình sử dụng các token mới, trong khi các giá trị <1.0khuyến khích mô hình lặp lại các token. - cache_implementation (
str, tùy chọn) — Cách triển khai phương pháp cache để tạo nhanh hơn khiuse_vllmđược đặt thànhFalse.
Các tham số kiểm soát việc tăng tốc sinh nội dung được hỗ trợ bởi vLLM
- use_vllm (
bool, tùy chọn, mặc định làFalse) — Có sử dụng vLLM để tạo các câu trả lời on-policy từ mô hình sinh viên hay không. - vllm_mode (
str, tùy chọn, mặc định là"colocate") — Chế độ cho tích hợp vLLM của student. Hoặc là"server"hoặc là"colocate". - vllm_model_impl (
str, tuỳ chọn, mặc định là"vllm") — Backend triển khai mô hình cho vLLM. Sử dụng"vllm"hoặc"transformers". - vllm_enable_sleep_mode (
bool, tùy chọn, mặc định làFalse) — Bật chế độ ngủ của vLLM để chuyển trọng số của student ra ngoài trong bước tối ưu hóa. - vllm_structured_outputs_regex (
str, tùy chọn) — Mẫu regex cho structured outputs của vLLM.
Các tham số điều khiển máy chủ vLLM (chỉ được sử dụng khi `vllm_mode` là `"server"`)
- vllm_server_base_url (
str, tùy chọn) — URL gốc cho máy chủ vLLM của student. Nếu được cung cấp,vllm_server_hostvàvllm_server_portsẽ bị bỏ qua. - vllm_server_host (
str, tùy chọn, mặc định là"0.0.0.0") — Host của máy chủ vLLM sinh viên. - vllm_server_port (
int, tùy chọn, mặc định là8000) — Cổng của máy chủ vLLM sinh viên. - vllm_server_timeout (
float, tuỳ chọn, mặc định là240.0) — Thời gian chờ để kết nối với máy chủ vLLM của student. - vllm_group_port (
int, tùy chọn, mặc định là51216) — Cổng cho nhóm cập nhật trọng số vLLM (trình liên lạc NCCL).
Các tham số điều khiển việc thực thi vLLM colocated (chỉ được sử dụng khi `vllm_mode` là `"colocate"`)
- vllm_gpu_memory_utilization (
float, không bắt buộc, mặc định là0.3) — Tỷ lệ sử dụng bộ nhớ GPU cho engine vLLM của student được đặt cùng vị trí (colocated). - vllm_max_model_length (
int, tùy chọn) — Chiều dài chuỗi tối đa của mô hình cho bộ xử lý vLLM được đặt cùng vị trí. - vllm_tensor_parallel_size (
int, tùy chọn, mặc định là1) — Kích thước song song tensor cho engine vLLM của student được đặt cùng vị trí.
Các tham số kiểm soát quá trình huấn luyện
- beta (
float, tùy chọn, mặc định là1.0) — Hệ số nội suy cho tổn thất Divergence Jensen-Shannon tổng quát. Khi0.0, tổn thất là divergence KL thuận. Khi1.0, tổn thất là divergence KL nghịch. Khi0.5, đó là JSD chuẩn. Khác vớibetacủa GRPO (hệ số phạt KL so với mô hình tham chiếu), ở đây nó chọn chính divergence; không có phạt KL mô hình tham chiếu. - max_tool_calling_iterations (
int, tùy chọn) — Số lượt gọi công cụ tối đa khi huấn luyện một agent. Nếu làNone, sẽ không có giới hạn và quá trình sinh sẽ dừng lại khi mô hình sinh ra một lượt phản hồi không có lệnh gọi công cụ nào, khi phần hoàn thành (bao gồm tất cả các lượt và kết quả công cụ) đạt đếnmax_completion_lengthtoken, hoặc khi toàn bộ chuỗi đạt đến độ dài tối đa của mô hình (vllm_max_model_lengthvớivllm_mode="colocate", còn lại làmax_position_embeddingscủa mô hình).
Các tham số kiểm soát việc ghi log
- log_completions (
bool, tùy chọn, mặc định làFalse) — Có nên ghi nhật ký một mẫu các cặp (prompt, completion) mỗilogging_stepsbước hay không. Nếurichđược cài đặt, nó sẽ in ra mẫu đó. Nếu ghi nhật kýwandbvà/hoặctrackiođược bật, nó sẽ ghi mẫu đó vàowandbvà/hoặctrackio. - num_completions_to_print (
int, tùy chọn) — Số lượng completions được in ra bằngrich. Nếu làNone, tất cả các completions sẽ được ghi log. - log_unique_prompts (
bool, tùy chọn, mặc định làFalse) — Có ghi log các prompt duy nhất hay không. NếuTrue, chỉ các prompt duy nhất được ghi log. NếuFalse, tất cả các prompt đều được ghi log.
Lớp cấu hình cho DistillationTrainer.
Mở rộng TrainingArguments với các tham số cụ thể cho kỹ thuật chưng cất tri thức. Tất cả các trường cần thiết được khai báo tại đây.
Sử dụng HfArgumentParser, chúng ta có thể chuyển lớp này thành các đối số argparse có thể được chỉ định trên dòng lệnh.
Các tham số này có giá trị mặc định khác với TrainingArguments:
logging_steps: Mặc định là10thay vì500.gradient_checkpointing: Mặc định làTruethay vìFalse.bf16: Mặc định làTruenếufp16không được đặt, thay vìFalse.learning_rate: Mặc định là1e-6thay vì5e-5.