TRL documentation
Ví dụ
Ví dụ
Thư mục examples/ chứa một bộ sưu tập các ví dụ tự chứa, minh họa cách sử dụng thư viện TRL cho nhiều ứng dụng khác nhau. Mỗi ví dụ nằm trong một thư mục riêng được đặt tên theo phương pháp và nhiệm vụ mà nó minh họa (ví dụ: grpo_wordle, sft_gpt_oss_chess), và bao gồm mọi thứ cần thiết cho ví dụ đó: các script, notebook, prompt, chat template và mã đánh giá.
Các script huấn luyện đơn giản với một trainer không phải là ví dụ: chúng nằm trong trl/scripts và được cung cấp thông qua giao diện dòng lệnh (trl sft, trl dpo, trl grpo, …). Trang tài liệu của mỗi trainer cũng chứa một đoạn mã hoàn chỉnh có thể chạy được.
Các tài nguyên dùng chung nằm ở gốc của examples/:
examples/deepspeed_configs: Các tệp cấu hình DeepSpeed ZeRO, được truyền với--deepspeed, được sử dụng bởi nhiều ví dụ.examples/fsdp_configs: các tệp cấu hình FSDP, được truyền với--fsdp --fsdp_config(lệnh--fsdpđơn thuần trên dòng lệnh yêu cầu transformers 5.10 trở lên; với các phiên bản cũ hơn, hãy đặtfsdp=Truetrong cấu hình huấn luyện).examples/datasets: các script được sử dụng để tạo ra các bộ dữ liệutrl-libđược dùng xuyên suốt các ví dụ.
Bắt đầu
Cài đặt TRL và các phụ thuộc bổ sung như sau:
pip install --upgrade trl[quantization]
Kiểm tra các phụ thuộc tùy chọn bổ sung tại đây. Các ví dụ dựa trên Notebook là tự chứa và có thể chạy trên Colab miễn phí; các ví dụ dựa trên script chạy trên cấu hình GPU đơn, đa GPU hoặc DeepSpeed (xem Đào tạo Phân tán bên dưới).
Mục lục
| Ví dụ | Mô tả | Mở trong Colab |
|---|---|---|
async_distillation_math | Chưng cất on-policy bất đồng bộ trên GSM8K bằng experimental.async_distillation.AsyncDistillationTrainer: giáo viên được phục vụ qua HTTP bằng vLLM. | |
async_distillation_mopd | Nén đa giáo viên theo chính sách (Multi-teacher on-policy distillation - MOPD) bằng experimental.async_distillation.AsyncDistillationTrainer: kết hợp các chuyên gia về toán, mã và tuân theo chỉ dẫn của Open-MOPD vào checkpoint SFT của chúng: từ 17.5 lên 24.2 trên AIME24 và từ 67.5 lên 73.0 trên IFEval trong 60 bước (script, trình khởi chạy Hugging Face Jobs và README kèm kết quả). | |
async_grpo_harbor | Huấn luyện AsyncGRPO trên bộ nhiệm vụ Harbor thông qua bất kỳ tác nhân lập trình nào đã cài đặt (mini-swe-agent, opencode, claude-code, …) được cung cấp qua OpenEnv: tác nhân tự quản lý vòng lặp của mình trong một sandbox và TRL huấn luyện trên các token id và logprobs được ghi lại bởi proxy bắt gói tin. | |
async_grpo_math | GRPO bất đồng bộ trên GSM8K với AsyncGRPOTrainer, tách biệt quá trình sinh (máy chủ vLLM) khỏi quá trình huấn luyện, bao gồm một biến thể LoRA chỉ đồng bộ bộ thích ứng (adapter) với máy chủ vLLM. | |
dpo_reduce_hallucinations | Tinh chỉnh DPO cho Mô hình Ngôn ngữ Thị giác để giảm thiểu ảo giác bằng bộ dữ liệu openbmb/RLAIF-V-Dataset. | |
gold_chatbot_arena | Áp dụng experimental.gold.GOLDTrainer để thực hiện General Online Logit Distillation (GOLD) từ teacher Qwen2 sang student Llama 3.2 (cross-tokenizer) trên chatbot_arena_completions, với các biến thể full-training và LoRA. | |
gold_qwen3_vl | Áp dụng experimental.gold.GOLDTrainer để thực hiện General Online Logit Distillation (GOLD) từ Qwen3-VL-8B sang các học sinh VLM nhỏ hơn, bao gồm cả distillation trong cùng họ (JSD loss) và distillation giữa các họ (ULD loss). | |
grpo_2048 | GRPO với việc gọi công cụ để dạy mô hình chơi trò chơi 2048. | |
grpo_browsergym | GRPO với môi trường OpenEnv của BrowserGym, với các biến thể LLM và VLM. | |
grpo_carla | GRPO với môi trường lái xe tự động CARLA OpenEnv, bao gồm các biến thể LLM và VLM (phản hồi công cụ đa phương thức từ ảnh camera). | |
grpo_catch | GRPO với bẫy (OpenSpiel) môi trường OpenEnv. | |
grpo_continuous_batching | GRPO với động cơ liên tục của transformers để tạo nhanh hơn trên các lô lớn có độ dài hoàn thành khác nhau. | |
grpo_echo | Huấn luyện GRPO tối thiểu với môi trường OpenEnv Echo. | |
grpo_harbor | Huấn luyện GRPO đối với bộ bài toán Harbor với tác nhân cơ sở có thể thay thế (các khung bash / jupyter / terminal_notes). Xem hướng dẫn Tích hợp Harbor. | |
grpo_ministral3_vl | GRPO Ministral 3 với QLoRA trên Colab miễn phí. | |
grpo_multi_env | Huấn luyện GRPO đa môi trường: Wordle + Catch OpenEnv trong cùng một lượt huấn luyện. | |
grpo_qlora | GRPO sử dụng QLoRA trên Colab miễn phí. | |
grpo_qwen3_vl | GRPO Qwen3-VL với QLoRA trên Colab miễn phí. | |
grpo_rnj_1_instruct | GRPO trên rnj-1-instruct với QLoRA trên Colab để thêm khả năng suy luận. | |
grpo_seta | Huấn luyện GRPO đối với môi trường SETA ORS trên danh mục openreward.ai. Xem hướng dẫn Tích hợp OpenReward. | |
grpo_sql_agent | GRPO để huấn luyện một agent trả lời câu hỏi bằng cách truy vấn cơ sở dữ liệu SQL (kịch bản và notebook; không thể chạy trên Colab miễn phí do OOM). | |
grpo_sudoku | GRPO để chơi Sudoku (TextArena) trên môi trường OpenEnv, bắt đầu từ một mô hình SFT: 0, 10 và 22 câu đố trong số 30 được giải ở mức 26 ô trống cho các mô hình base, SFT và SFT + GRPO (script, notebook và README với kết quả). | |
grpo_visual_math | Tinh chỉnh GRPO cho một mô hình đa phương thức để suy luận, sử dụng bộ dữ liệu lmms-lab/multimodal-open-r1-8k-verified. | |
grpo_wordle | GRPO để chơi Wordle (TextArena) trên môi trường OpenEnv (script và notebook). | |
gspo_math | GSPO thông qua GRPOTrainer cho suy luận toán học trên bộ dữ liệu AI-MO/NuminaMath-TIR. | |
gspo_visual_math | GSPO thông qua GRPOTrainer để tinh chỉnh một mô hình đa phương thức cho suy luận bằng bộ dữ liệu lmms-lab/multimodal-open-r1-8k-verified. | |
lfm2_5_moe_research_agent | LiquidAI/LFM2.5-8B-A1B trong hai bước: SFT đầy đủ trên xLAM function calling trên một node 8xH100 với SFTTrainer, được chia shard khi tải bằng DistributedConfig của transformers (expert parallelism với token dispatch, cùng FSDP), sau đó là GRPO của một research agent đa lượt trên HotpotQA với GRPOTrainer và environment_factory (công cụ search / read, phần thưởng exact-match). | |
mpo_visual_preferences | MPO thông qua DPOTrainer để căn chỉnh một mô hình đa phương thức dựa trên sở thích bằng cách sử dụng bộ dữ liệu HuggingFaceH4/rlaif-v_formatted và một tập hợp các trọng số tổn thất. | |
online_dpo_visual_math | Tinh chỉnh trực tuyến DPO cho Mô hình Ngôn ngữ Thị giác bằng experimental.online_dpo.OnlineDPOTrainer. | |
rloo_math | RLOO với RLOOTrainer cho suy luận toán học trên bộ dữ liệu AI-MO/NuminaMath-TIR với vLLM. | |
rloo_visual_math | Fine-tuning RLOO cho một mô hình đa phương thức để suy luận, sử dụng bộ dữ liệu lmms-lab/multimodal-open-r1-8k-verified. | |
sdft_privileged_context | Tinh chỉnh bằng tự chưng cất với experimental.sdft.SDFTTrainer, chưng cất ngữ cảnh đặc quyền (chỉ dành cho giáo viên) vào mô hình. | |
sdpo_math | SDPO với experimental.sdpo.SDPOTrainer sử dụng phần thưởng toán học có thể kiểm chứng và phản hồi môi trường tùy chọn trên openai/gsm8k. | |
sft_agent_traces | SFT của Qwen3.5-2B trên các vết agent: Qwen3.5-397B-A17B xử lý các tác vụ phân tích dữ liệu Harbor dưới dạng agent OpenCode trong Hugging Face Sandboxes, được ghi lại bởi OpenEnv, và mô hình học sinh được huấn luyện trên các cuộc trò chuyện đã giải quyết với loss chỉ áp dụng cho phần trợ lý. Trên các tác vụ mà dữ liệu không có vết nào chạm tới, khoảng 500 vết giúp nâng hiệu suất từ 7,6% lên 33,3% (kèm theo các script rollout, dataset và huấn luyện, cùng README chứa kết quả). | |
sft_beam | LoRA SFT của reflection/Beam-1.0-501B-A23B trên một node 8xB300 với SFTTrainer, được chia nhỏ (sharded) tại thời điểm tải bởi DistributedConfig của transformers (song song chuyên gia với điều phối token). | |
sft_diffusion_gemma | SFT của mô hình ngôn ngữ block-diffusion DiffusionGemma trên GSM8K bằng cách mở rộng SFTTrainer với một mục tiêu block-diffusion. | |
sft_gemma3 | SFT của Gemma 3 trên bộ dữ liệu Codeforces COTS. | |
sft_gemma3_vision | SFT của Gemma 3 trên các tác vụ từ thị giác sang văn bản. | |
sft_gpt_oss_chess | Fine-tuning đầy đủ mô hình openai/gpt-oss-20b trên các bài toán cờ vua bằng SFTTrainer: TRL nạp các chuyên gia MXFP4 của nó ở dạng đã khử lượng tử hóa, và các chuyên gia đã fine-tune sẽ được lượng tử hóa lại về MXFP4 để phục vụ giống như bản gốc. | |
sft_ministral3_vl | SFT Ministral 3 với QLoRA trên Colab miễn phí. | |
sft_mistral_large_4 | SFT LoRA của mistralai/Mistral-Large-4-1T-A52B trên các trọng số FP8 của nó trên một node 8xB300 với SFTTrainer, được chia nhỏ (sharded) tại thời điểm tải bởi DistributedConfig của transformers (song song chuyên gia với điều phối token). | |
sft_nemotron_3 | SFT của các mô hình NVIDIA Nemotron 3 (script và notebook LoRA). | |
sft_qlora | SFT sử dụng QLoRA trên Colab miễn phí. | |
sft_qwen3_8b_1m_context | SFT của Qwen3-8B trên các chuỗi 1.048.576 token với context parallelism, trên một node 8xH100. | |
sft_qwen3_vl | SFT Qwen3-VL với QLoRA trên Colab miễn phí. | |
tail_sft_gsm8k | TailSFT trên GSM8K bằng cách mở rộng SFTTrainer với bộ lọc tổn thất chính sách ban đầu. | |
sft_muse_spark_open | SFT LoRA của meta-models/Muse-Spark-Open-816B-A42B trên 8 nút bằng SFTTrainer, được chia shard khi tải bằng DistributedConfig của transformers (song song chuyên gia với điều phối token). | |
sft_tool_calling | Dạy mô hình gọi công cụ mà không có hỗ trợ gọi công cụ bản địa bằng SFT với QLoRA (script, chat template và notebook). | |
sft_visual_chat | SFT của một Mô hình Ngôn ngữ Thị giác trong bối trò chuyện. Chỉ được kiểm thử với LLaVA 1.5, LLaVA 1.6 và Llama-3.2-11B-Vision-Instruct; người dùng có thể gặp hành vi bất ngờ trên các kiến trúc mô hình khác. | |
xtoken | X-Token off-policy cross-tokenizer knowledge distillation với experimental.gold.GOLDTrainer, bao gồm chuẩn bị ma trận chiếu. |
Huấn luyện Phân tán
Bạn có thể chạy các script mẫu trên nhiều GPU với torchrun:
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --all_arguments_of_the_scriptĐối với DeepSpeed ZeRO-{1,2,3}:
torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --deepspeed examples/deepspeed_configs/zero{1,2,3}.json --all_arguments_of_the_scriptĐiều chỉnh NUM_GPUS và --all_arguments_of_the_script theo nhu cầu.