TRL documentation

Ví dụ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Ví dụ

Thư mục examples/ chứa một bộ sưu tập các ví dụ tự chứa, minh họa cách sử dụng thư viện TRL cho nhiều ứng dụng khác nhau. Mỗi ví dụ nằm trong một thư mục riêng được đặt tên theo phương pháp và nhiệm vụ mà nó minh họa (ví dụ: grpo_wordle, sft_gpt_oss_chess), và bao gồm mọi thứ cần thiết cho ví dụ đó: các script, notebook, prompt, chat template và mã đánh giá.

Các script huấn luyện đơn giản với một trainer không phải là ví dụ: chúng nằm trong trl/scripts và được cung cấp thông qua giao diện dòng lệnh (trl sft, trl dpo, trl grpo, …). Trang tài liệu của mỗi trainer cũng chứa một đoạn mã hoàn chỉnh có thể chạy được.

Các tài nguyên dùng chung nằm ở gốc của examples/:

  • examples/deepspeed_configs: Các tệp cấu hình DeepSpeed ZeRO, được truyền với --deepspeed, được sử dụng bởi nhiều ví dụ.
  • examples/fsdp_configs: các tệp cấu hình FSDP, được truyền với --fsdp --fsdp_config (lệnh --fsdp đơn thuần trên dòng lệnh yêu cầu transformers 5.10 trở lên; với các phiên bản cũ hơn, hãy đặt fsdp=True trong cấu hình huấn luyện).
  • examples/datasets: các script được sử dụng để tạo ra các bộ dữ liệu trl-lib được dùng xuyên suốt các ví dụ.

Bắt đầu

Cài đặt TRL và các phụ thuộc bổ sung như sau:

pip install --upgrade trl[quantization]

Kiểm tra các phụ thuộc tùy chọn bổ sung tại đây. Các ví dụ dựa trên Notebook là tự chứa và có thể chạy trên Colab miễn phí; các ví dụ dựa trên script chạy trên cấu hình GPU đơn, đa GPU hoặc DeepSpeed (xem Đào tạo Phân tán bên dưới).

Mục lục

Ví dụMô tảMở trong Colab
async_distillation_mathChưng cất on-policy bất đồng bộ trên GSM8K bằng experimental.async_distillation.AsyncDistillationTrainer: giáo viên được phục vụ qua HTTP bằng vLLM.
async_distillation_mopdNén đa giáo viên theo chính sách (Multi-teacher on-policy distillation - MOPD) bằng experimental.async_distillation.AsyncDistillationTrainer: kết hợp các chuyên gia về toán, mã và tuân theo chỉ dẫn của Open-MOPD vào checkpoint SFT của chúng: từ 17.5 lên 24.2 trên AIME24 và từ 67.5 lên 73.0 trên IFEval trong 60 bước (script, trình khởi chạy Hugging Face Jobs và README kèm kết quả).
async_grpo_harborHuấn luyện AsyncGRPO trên bộ nhiệm vụ Harbor thông qua bất kỳ tác nhân lập trình nào đã cài đặt (mini-swe-agent, opencode, claude-code, …) được cung cấp qua OpenEnv: tác nhân tự quản lý vòng lặp của mình trong một sandbox và TRL huấn luyện trên các token id và logprobs được ghi lại bởi proxy bắt gói tin.
async_grpo_mathGRPO bất đồng bộ trên GSM8K với AsyncGRPOTrainer, tách biệt quá trình sinh (máy chủ vLLM) khỏi quá trình huấn luyện, bao gồm một biến thể LoRA chỉ đồng bộ bộ thích ứng (adapter) với máy chủ vLLM.
dpo_reduce_hallucinationsTinh chỉnh DPO cho Mô hình Ngôn ngữ Thị giác để giảm thiểu ảo giác bằng bộ dữ liệu openbmb/RLAIF-V-Dataset.
gold_chatbot_arenaÁp dụng experimental.gold.GOLDTrainer để thực hiện General Online Logit Distillation (GOLD) từ teacher Qwen2 sang student Llama 3.2 (cross-tokenizer) trên chatbot_arena_completions, với các biến thể full-training và LoRA.
gold_qwen3_vlÁp dụng experimental.gold.GOLDTrainer để thực hiện General Online Logit Distillation (GOLD) từ Qwen3-VL-8B sang các học sinh VLM nhỏ hơn, bao gồm cả distillation trong cùng họ (JSD loss) và distillation giữa các họ (ULD loss).
grpo_2048GRPO với việc gọi công cụ để dạy mô hình chơi trò chơi 2048.
grpo_browsergymGRPO với môi trường OpenEnv của BrowserGym, với các biến thể LLM và VLM.
grpo_carlaGRPO với môi trường lái xe tự động CARLA OpenEnv, bao gồm các biến thể LLM và VLM (phản hồi công cụ đa phương thức từ ảnh camera).
grpo_catchGRPO với bẫy (OpenSpiel) môi trường OpenEnv.
grpo_continuous_batchingGRPO với động cơ liên tục của transformers để tạo nhanh hơn trên các lô lớn có độ dài hoàn thành khác nhau.
grpo_echoHuấn luyện GRPO tối thiểu với môi trường OpenEnv Echo.
grpo_harborHuấn luyện GRPO đối với bộ bài toán Harbor với tác nhân cơ sở có thể thay thế (các khung bash / jupyter / terminal_notes). Xem hướng dẫn Tích hợp Harbor.
grpo_ministral3_vlGRPO Ministral 3 với QLoRA trên Colab miễn phí.Open In Colab
grpo_multi_envHuấn luyện GRPO đa môi trường: Wordle + Catch OpenEnv trong cùng một lượt huấn luyện.
grpo_qloraGRPO sử dụng QLoRA trên Colab miễn phí.Open In Colab
grpo_qwen3_vlGRPO Qwen3-VL với QLoRA trên Colab miễn phí.Open In Colab
grpo_rnj_1_instructGRPO trên rnj-1-instruct với QLoRA trên Colab để thêm khả năng suy luận.Open In Colab
grpo_setaHuấn luyện GRPO đối với môi trường SETA ORS trên danh mục openreward.ai. Xem hướng dẫn Tích hợp OpenReward.
grpo_sql_agentGRPO để huấn luyện một agent trả lời câu hỏi bằng cách truy vấn cơ sở dữ liệu SQL (kịch bản và notebook; không thể chạy trên Colab miễn phí do OOM).
grpo_sudokuGRPO để chơi Sudoku (TextArena) trên môi trường OpenEnv, bắt đầu từ một mô hình SFT: 0, 10 và 22 câu đố trong số 30 được giải ở mức 26 ô trống cho các mô hình base, SFT và SFT + GRPO (script, notebook và README với kết quả).Open In Colab
grpo_visual_mathTinh chỉnh GRPO cho một mô hình đa phương thức để suy luận, sử dụng bộ dữ liệu lmms-lab/multimodal-open-r1-8k-verified.
grpo_wordleGRPO để chơi Wordle (TextArena) trên môi trường OpenEnv (script và notebook).Open In Colab
gspo_mathGSPO thông qua GRPOTrainer cho suy luận toán học trên bộ dữ liệu AI-MO/NuminaMath-TIR.
gspo_visual_mathGSPO thông qua GRPOTrainer để tinh chỉnh một mô hình đa phương thức cho suy luận bằng bộ dữ liệu lmms-lab/multimodal-open-r1-8k-verified.
lfm2_5_moe_research_agentLiquidAI/LFM2.5-8B-A1B trong hai bước: SFT đầy đủ trên xLAM function calling trên một node 8xH100 với SFTTrainer, được chia shard khi tải bằng DistributedConfig của transformers (expert parallelism với token dispatch, cùng FSDP), sau đó là GRPO của một research agent đa lượt trên HotpotQA với GRPOTrainer và environment_factory (công cụ search / read, phần thưởng exact-match).
mpo_visual_preferencesMPO thông qua DPOTrainer để căn chỉnh một mô hình đa phương thức dựa trên sở thích bằng cách sử dụng bộ dữ liệu HuggingFaceH4/rlaif-v_formatted và một tập hợp các trọng số tổn thất.
online_dpo_visual_mathTinh chỉnh trực tuyến DPO cho Mô hình Ngôn ngữ Thị giác bằng experimental.online_dpo.OnlineDPOTrainer.
rloo_mathRLOO với RLOOTrainer cho suy luận toán học trên bộ dữ liệu AI-MO/NuminaMath-TIR với vLLM.
rloo_visual_mathFine-tuning RLOO cho một mô hình đa phương thức để suy luận, sử dụng bộ dữ liệu lmms-lab/multimodal-open-r1-8k-verified.
sdft_privileged_contextTinh chỉnh bằng tự chưng cất với experimental.sdft.SDFTTrainer, chưng cất ngữ cảnh đặc quyền (chỉ dành cho giáo viên) vào mô hình.
sdpo_mathSDPO với experimental.sdpo.SDPOTrainer sử dụng phần thưởng toán học có thể kiểm chứng và phản hồi môi trường tùy chọn trên openai/gsm8k.
sft_agent_tracesSFT của Qwen3.5-2B trên các vết agent: Qwen3.5-397B-A17B xử lý các tác vụ phân tích dữ liệu Harbor dưới dạng agent OpenCode trong Hugging Face Sandboxes, được ghi lại bởi OpenEnv, và mô hình học sinh được huấn luyện trên các cuộc trò chuyện đã giải quyết với loss chỉ áp dụng cho phần trợ lý. Trên các tác vụ mà dữ liệu không có vết nào chạm tới, khoảng 500 vết giúp nâng hiệu suất từ 7,6% lên 33,3% (kèm theo các script rollout, dataset và huấn luyện, cùng README chứa kết quả).
sft_beamLoRA SFT của reflection/Beam-1.0-501B-A23B trên một node 8xB300 với SFTTrainer, được chia nhỏ (sharded) tại thời điểm tải bởi DistributedConfig của transformers (song song chuyên gia với điều phối token).
sft_diffusion_gemmaSFT của mô hình ngôn ngữ block-diffusion DiffusionGemma trên GSM8K bằng cách mở rộng SFTTrainer với một mục tiêu block-diffusion.
sft_gemma3SFT của Gemma 3 trên bộ dữ liệu Codeforces COTS.
sft_gemma3_visionSFT của Gemma 3 trên các tác vụ từ thị giác sang văn bản.
sft_gpt_oss_chessFine-tuning đầy đủ mô hình openai/gpt-oss-20b trên các bài toán cờ vua bằng SFTTrainer: TRL nạp các chuyên gia MXFP4 của nó ở dạng đã khử lượng tử hóa, và các chuyên gia đã fine-tune sẽ được lượng tử hóa lại về MXFP4 để phục vụ giống như bản gốc.
sft_ministral3_vlSFT Ministral 3 với QLoRA trên Colab miễn phí.Open In Colab
sft_mistral_large_4SFT LoRA của mistralai/Mistral-Large-4-1T-A52B trên các trọng số FP8 của nó trên một node 8xB300 với SFTTrainer, được chia nhỏ (sharded) tại thời điểm tải bởi DistributedConfig của transformers (song song chuyên gia với điều phối token).
sft_nemotron_3SFT của các mô hình NVIDIA Nemotron 3 (script và notebook LoRA).Open In Colab
sft_qloraSFT sử dụng QLoRA trên Colab miễn phí.Open In Colab
sft_qwen3_8b_1m_contextSFT của Qwen3-8B trên các chuỗi 1.048.576 token với context parallelism, trên một node 8xH100.
sft_qwen3_vlSFT Qwen3-VL với QLoRA trên Colab miễn phí.Open In Colab
tail_sft_gsm8kTailSFT trên GSM8K bằng cách mở rộng SFTTrainer với bộ lọc tổn thất chính sách ban đầu.
sft_muse_spark_openSFT LoRA của meta-models/Muse-Spark-Open-816B-A42B trên 8 nút bằng SFTTrainer, được chia shard khi tải bằng DistributedConfig của transformers (song song chuyên gia với điều phối token).
sft_tool_callingDạy mô hình gọi công cụ mà không có hỗ trợ gọi công cụ bản địa bằng SFT với QLoRA (script, chat template và notebook).Open In Colab
sft_visual_chatSFT của một Mô hình Ngôn ngữ Thị giác trong bối trò chuyện. Chỉ được kiểm thử với LLaVA 1.5, LLaVA 1.6 và Llama-3.2-11B-Vision-Instruct; người dùng có thể gặp hành vi bất ngờ trên các kiến trúc mô hình khác.
xtokenX-Token off-policy cross-tokenizer knowledge distillation với experimental.gold.GOLDTrainer, bao gồm chuẩn bị ma trận chiếu.

Huấn luyện Phân tán

Bạn có thể chạy các script mẫu trên nhiều GPU với torchrun:

torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --all_arguments_of_the_script

Đối với DeepSpeed ZeRO-{1,2,3}:

torchrun --nproc_per_node {NUM_GPUS} path_to_script.py --deepspeed examples/deepspeed_configs/zero{1,2,3}.json --all_arguments_of_the_script

Điều chỉnh NUM_GPUS và --all_arguments_of_the_script theo nhu cầu.

Update on GitHub