TRL documentation
Bắt đầu nhanh
Bắt đầu
Hướng dẫn khái niệm
Trainers
Hướng dẫn thực hành
Giao diện dòng lệnh (CLI)Huấn luyện bằng JobsTùy chỉnh quá trình huấn luyệnGiảm mức sử dụng bộ nhớTăng tốc huấn luyệnPhân phối huấn luyệnHuấn luyện trên AWS TrainiumHuấn luyện trên GPU AMDHuấn luyện vượt quá 1 triệu tokenSử dụng Mô hình đã được huấn luyện
Tích hợp
Ví dụ
API
Thí nghiệm
Bắt đầu nhanh
TRL là một thư viện toàn diện để huấn luyện lại các mô hình nền tảng bằng các kỹ thuật như Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO).
Ví dụ nhanh
Bắt đầu ngay lập tức với các trình huấn luyện phổ biến nhất của TRL. Mỗi ví dụ sử dụng các mô hình nhỏ gọn để thử nghiệm nhanh chóng.
Tinh chỉnh có giám sát
from trl import SFTTrainer
from datasets import load_dataset
trainer = SFTTrainer(
model="Qwen/Qwen2.5-0.5B",
train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()Tối ưu hóa chính sách tương đối theo nhóm
accuracy_reward cần math-verify, bạn có thể cài đặt bằng pip install trl[math_verify].
from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward
trainer = GRPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
reward_funcs=accuracy_reward,
)
trainer.train()Tối ưu hóa sở thích trực tiếp
from trl import DPOTrainer
from datasets import load_dataset
trainer = DPOTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()Mô hình hóa phần thưởng
from trl import RewardTrainer
from datasets import load_dataset
dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
trainer = RewardTrainer(
model="Qwen/Qwen2.5-0.5B-Instruct",
train_dataset=dataset,
)
trainer.train()Giao diện dòng lệnh
Bỏ qua hoàn toàn mã - huấn luyện trực tiếp từ terminal của bạn:
# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
--dataset_name trl-lib/Capybara
# DPO: Align with preferences
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarized
# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
--dataset_name trl-lib/ultrafeedback_binarizedTiếp theo là gì?
📚 Tìm hiểu thêm
- Trainer SFT - Hướng dẫn SFT đầy đủ
- Trainer DPO - Căn chỉnh sở thích
- GRPO Trainer - Tối ưu hóa chính sách tương đối theo nhóm
🚀 Mở rộng quy mô
- Đào tạo phân tán - Cấu hình đa GPU
- Tối ưu hóa bộ nhớ - Huấn luyện hiệu quả
- Tích hợp PEFT - LoRA và QLoRA
💡 Ví dụ
- Script mẫu - Mã sẵn sàng cho môi trường sản xuất
- Hướng dẫn từ cộng đồng - Hướng dẫn bên ngoài
Xử lý sự cố
Hết bộ nhớ?
Giảm kích thước lô và bật các tối ưu hóa:
SFT
DPO
GRPO
training_args = SFTConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = DPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
)training_args = GRPOConfig(
per_device_train_batch_size=1, # Start small
gradient_accumulation_steps=8, # Maintain effective batch size
num_generations=4, # Reduce from default 8 (GRPO generates num_generations completions per prompt)
max_completion_length=512, # Tune based on task; longer sequences cost more memory
)Loss không giảm?
Thử điều chỉnh tốc độ học:
training_args = SFTConfig(learning_rate=2e-5) # Good starting pointĐể được hỗ trợ thêm, hãy mở một issue trên GitHub.
Update on GitHub