TRL documentation

Bắt đầu nhanh

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bắt đầu nhanh

TRL là một thư viện toàn diện để huấn luyện lại các mô hình nền tảng bằng các kỹ thuật như Supervised Fine-Tuning (SFT), Group Relative Policy Optimization (GRPO), Direct Preference Optimization (DPO).

Ví dụ nhanh

Bắt đầu ngay lập tức với các trình huấn luyện phổ biến nhất của TRL. Mỗi ví dụ sử dụng các mô hình nhỏ gọn để thử nghiệm nhanh chóng.

Tinh chỉnh có giám sát

from trl import SFTTrainer
from datasets import load_dataset

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-0.5B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Tối ưu hóa chính sách tương đối theo nhóm

accuracy_reward cần math-verify, bạn có thể cài đặt bằng pip install trl[math_verify].

from trl import GRPOTrainer
from datasets import load_dataset
from trl.rewards import accuracy_reward

trainer = GRPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/DeepMath-103K", split="train"),
    reward_funcs=accuracy_reward,
)
trainer.train()

Tối ưu hóa sở thích trực tiếp

from trl import DPOTrainer
from datasets import load_dataset

trainer = DPOTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=load_dataset("trl-lib/ultrafeedback_binarized", split="train"),
)
trainer.train()

Mô hình hóa phần thưởng

from trl import RewardTrainer
from datasets import load_dataset

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

trainer = RewardTrainer(
    model="Qwen/Qwen2.5-0.5B-Instruct",
    train_dataset=dataset,
)
trainer.train()

Giao diện dòng lệnh

Bỏ qua hoàn toàn mã - huấn luyện trực tiếp từ terminal của bạn:

# SFT: Fine-tune on instructions
trl sft --model_name_or_path Qwen/Qwen2.5-0.5B \
    --dataset_name trl-lib/Capybara

# DPO: Align with preferences  
trl dpo --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

# Reward: Train a reward model
trl reward --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct \
    --dataset_name trl-lib/ultrafeedback_binarized

Tiếp theo là gì?

📚 Tìm hiểu thêm

🚀 Mở rộng quy mô

💡 Ví dụ

Xử lý sự cố

Hết bộ nhớ?

Giảm kích thước lô và bật các tối ưu hóa:

SFT
DPO
GRPO
training_args = SFTConfig(
    per_device_train_batch_size=1,  # Start small
    gradient_accumulation_steps=8,  # Maintain effective batch size
)

Loss không giảm?

Thử điều chỉnh tốc độ học:

training_args = SFTConfig(learning_rate=2e-5)  # Good starting point

Để được hỗ trợ thêm, hãy mở một issue trên GitHub.

Update on GitHub