TRL documentation
SDPO
SDPO
Self-Distillation Policy Optimization (SDPO) được giới thiệu trong Reinforcement Learning via Self-Distillation bởi Jonas Hübotter, Frederike Lübeck, Lejs Behric, Anton Baumann, Marco Bagatella, Daniel Marta, Ido Hakimi, Idan Shenfeld, Thomas Kleine Buening, Carlos Guestrin, và Andreas Krause.
Các mô hình ngôn ngữ lớn ngày càng được huấn luyện hậu (post-train) bằng học tăng cường trong các lĩnh vực có thể kiểm chứng như mã nguồn và toán học. Tuy nhiên, các phương pháp hiện tại cho học tăng cường với phần thưởng có thể kiểm chứng (RLVR) chỉ học từ một phần thưởng kết quả dạng vô hướng cho mỗi lần thử, tạo ra một nút thắt cổ chai nghiêm trọng trong việc gán tín dụng (credit-assignment). Nhiều môi trường có thể kiểm chứng thực tế cung cấp phản hồi văn bản phong phú, chẳng hạn như lỗi thời gian chạy hoặc đánh giá của trọng tài, giải thích lý do tại sao một lần thử thất bại. Chúng tôi chính thức hóa bối cảnh này là học tăng cường với phản hồi phong phú và giới thiệu Tối ưu hóa Chính sách Tự Chưng cất (Self-Distillation Policy Optimization - SDPO), phương pháp chuyển đổi phản hồi đã được token hóa thành tín hiệu học tập dày đặc mà không cần bất kỳ giáo viên bên ngoài hay mô hình phần thưởng rõ ràng nào. SDPO coi mô hình hiện tại có điều kiện dựa trên phản hồi như một giáo viên tự thân và chưng cất các dự đoán token tiếp theo có thông tin phản hồi của nó trở lại chính sách. Bằng cách này, SDPO tận dụng khả năng của mô hình trong việc nhận diện lại các sai sót của chính nó trong ngữ cảnh. Trên các bài toán suy luận khoa học, sử dụng công cụ và lập trình cạnh tranh trên LiveCodeBench v6, SDPO cải thiện hiệu quả mẫu và độ chính xác cuối cùng so với các đường cơ sở RLVR mạnh. Đáng chú ý, SDPO cũng vượt trội hơn các đường cơ sở trong các môi trường RLVR tiêu chuẩn chỉ trả về phản hồi dạng vô hướng bằng cách sử dụng các lượt triển khai thành công làm phản hồi ngầm cho các lần thử thất bại. Cuối cùng, việc áp dụng SDPO cho từng câu hỏi riêng lẻ tại thời điểm kiểm tra (test time) đẩy nhanh quá trình khám phá trên các tác vụ phần thưởng nhị phân khó, đạt được xác suất khám phá tương đương với lấy mẫu best-of-k hoặc hội thoại nhiều lượt với số lần thử ít hơn 3 lần.
Cách hoạt động
SDPO nhắm đến học tăng cường với phần thưởng có thể kiểm chứng (RLVR), trong đó mỗi lần thử chỉ tạo ra một phần thưởng vô hướng thưa. Nó chuyển đổi điều đó thành tín hiệu dày đặc ở cấp độ token: với mỗi prompt, chính sách lấy mẫu num_generations phần hoàn thành được chấm điểm bởi reward_funcs, một rollout thành công (cùng với phản hồi privileged_context tùy chọn) trở thành một prompt lại cho giáo viên, và phân phối của giáo viên trên một phần hoàn thành, được thông tin bởi phản hồi, được chưng cất ngược lại vào chính sách. Giáo viên và học sinh là cùng một mạng, nên không cần giáo viên bên ngoài hay mô hình phần thưởng nào ngoài bộ kiểm chứng.
Các chế độ Loss và giáo viên
distillation_weight kiểm soát cách hai tín hiệu được kết hợp dưới dạng tổ hợp lồi: loss là (1 - distillation_weight) * policy_loss + distillation_weight * distillation_loss. 1.0 (mặc định) huấn luyện thuần túy trên loss tự chưng cất, 0.0 quay về gradient chính sách kiểu GRPO tiêu chuẩn, và các giá trị trung gian pha trộn cả hai. Mục tiêu chưng cất bản thân được thiết lập bởi distillation_mode — "sampled_token" (mặc định) sử dụng reverse KL ở cấp độ token và yêu cầu distillation_alpha=1.0, trong khi "full_logits" và "topk_logits" chưng cất trên toàn bộ hoặc top-distillation_topk từ vựng.
teacher_model_kind chọn trọng số của teacher: "ema" (mặc định) theo dõi student bằng trung bình trượt mũ được đồng bộ mỗi teacher_sync_steps bước với tốc độ teacher_update_rate, "live" tái sử dụng student hiện tại trực tiếp, và "base" đóng băng trọng số ban đầu. Việc reprompting được điều khiển bởi use_successful_as_teacher, success_reward_threshold, dont_reprompt_on_self_success, và các chuỗi reprompt_template / solution_template / feedback_template. Quá trình sinh mặc định chạy qua transformers, hoặc vLLM (chế độ colocate hoặc server) khi use_vllm=True.
Các cột dữ liệu tập được kỳ vọng
Mỗi ví dụ phải cung cấp:
prompt: prompt dành cho sinh viênprivileged_context: văn bản đặc quyền tùy chọn, chẳng hạn như phản hồi từ môi trường, được sử dụng khiinclude_environment_feedback=True
Cách sử dụng
from datasets import Dataset
from trl.experimental.sdpo import SDPOConfig, SDPOTrainer
dataset = Dataset.from_dict(
{
"prompt": [[{"role": "user", "content": "Solve 2+2."}]],
"privileged_context": ["Your earlier answer used the wrong format."],
}
)
training_args = SDPOConfig(
output_dir="sdpo-model",
distillation_mode="topk_logits", # Explicitly select top-K logit distillation
distillation_topk=100, # Required when using top-K logit distillation
include_environment_feedback=True, # Use dataset privileged_context for teacher reprompts
)
trainer = SDPOTrainer(
model="Qwen/Qwen2.5-1.5B-Instruct",
reward_funcs=reward_func,
args=training_args,
train_dataset=dataset,
)
trainer.train()SDPO luôn yêu cầu một cột prompt. Để sử dụng phản hồi từ môi trường, hãy bao gồm cả cột privileged_context và đặt include_environment_feedback=True. SDPO sẽ sử dụng các rollout thành công và, khi được bật, văn bản đó để xây dựng các reprompt cho giáo viên phục vụ cho tự chưng cất.
Phục vụ mô hình teacher từ máy chủ vLLM
Với teacher_model_kind="live", teacher chính là student hiện tại, mà server vLLM đã giữ các trọng số của nó (chúng được đồng bộ cho mỗi bước sinh). Đặt use_teacher_server=True để tính điểm log-probabilities của teacher trên cùng server đó thay vì chạy một bước forward teacher cục bộ riêng, loại bỏ hoàn toàn teacher khỏi bước huấn luyện:
training_args = SDPOConfig(
output_dir="sdpo-model",
use_vllm=True,
vllm_mode="server",
teacher_model_kind="live",
use_teacher_server=True,
distillation_weight=1.0,
distillation_mode="sampled_token",
)Khi sử dụng máy chủ giáo viên:
use_vllm=Truevàvllm_mode="server"là bắt buộcteacher_model_kindphải là"live"(máy chủ giữ trọng số của học sinh hiện tại)distillation_weightphải là1.0(chỉ dùng distillation; để trộn lồi với policy loss thì cần logits của toàn bộ từ vựng)distillation_modephải là"sampled_token"(reverse KL trên token thực tế) hoặc"topk_logits". Server trả về top-k log-probs của chính teacher, do đótopk_logitssẽ thực hiện distillation trên top-k support của teacher (không thể dùng support của student, khác với local objective); với teacher"live", hai support này gần như trùng khớp.full_logitskhông khả dụng.
Callbacks
Trainer phát ra một bộ nhỏ các callback hooks hữu ích cho việc gỡ lỗi, quan sát và kiểm thử. Các hook này được thiết kế như những điểm tích hợp thực tế cho các quy trình tự chưng cất (self-distillation) mang tính thử nghiệm.
Các hook tự chưng cất chung:
on_self_distillation_batch_prepared: được kích hoạt khi một batch tự chưng cất đã sẵn sàng. Payload bao gồmprompt_ids,completion_idsvàold_per_token_logpskhi các đầu vào cho việc cắt xén lấy mẫu quan trọng (importance-sampling clipping) khả dụng.on_generation_batch_built: được kích hoạt khi một lô sinh có bộ đệm mới được tạo. Nội dung tải bao gồmgenerate_everyvàsteps_per_generation.
Hook dành riêng cho SDPO:
on_teacher_context_built: được kích hoạt sau khi SDPO xây dựng các đầu vào có điều kiện từ teacher. Payload bao gồmteacher_input_ids,teacher_attention_mask,completion_maskvàself_distillation_mask.
Mẫu script
Sử dụng examples/sdpo_math/sdpo_math.py để khởi động huấn luyện SDPO từ dòng lệnh. Script hỗ trợ phần thưởng toán học có thể kiểm chứng, phản hồi môi trường thông qua --feedback_column, và PEFT/LoRA thông qua các cờ chuẩn của ModelConfig.
python examples/sdpo_math/sdpo_math.py \
--model_name_or_path Qwen/Qwen2.5-Math-1.5B-Instruct \
--dataset_name openai/gsm8k \
--dataset_config main \
--output_dir outputs/sdpo-qwen35-2b-gsm8k \
--learning_rate 5e-5 \
--dtype bfloat16 \
--bf16 true \
--max_completion_length 128 \
--use_peft \
--lora_target_modules q_proj k_proj v_proj o_proj gate_proj up_proj down_proj \
--per_device_train_batch_size 1 \
--gradient_accumulation_steps 2 \
--num_generations 8 \
--generation_batch_size 32 \
--distillation_alpha 1.0 \
--distillation_mode sampled_token \
--distillation_weight 0.5 \
--report_to none \
--eval_strategy steps \
--eval_steps 1000 \
--save_strategy noSDPOConfig
lớp trl.experimental.sdpo.SDPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | None = Nonetrust_remote_code: bool = Falsedisable_dropout: bool = Truemax_prompt_length: int | None = 512num_generations: int = 8num_generations_eval: int | None = Nonemax_completion_length: int | None = 256ds3_gather_for_generation: bool = Trueshuffle_dataset: bool = Truegeneration_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict[str, typing.Any] | None = Nonechat_template_kwargs: dict[str, typing.Any] | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falseuse_teacher_server: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_group_port: int = 51216vllm_server_timeout: float = 240.0vllm_tensor_parallel_size: int = 1vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonenum_iterations: int = 1loss_type: str = 'dapo'mask_truncated_completions: bool = Falsedont_reprompt_on_self_success: bool = Truebeta: float = 0.0epsilon: float = 0.2epsilon_high: float | None = Noneimportance_sampling_level: str = 'token'reward_weights: list[float] | None = Nonescale_rewards: str = 'group'distillation_alpha: float = 1.0distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'sampled_token'distillation_topk: int | None = Nonedistillation_is_clip: float | None = 2.0distillation_add_tail: bool = Falsedistillation_weight: float = 1.0teacher_model_kind: str = 'ema'teacher_update_rate: float = 0.05teacher_sync_steps: int = 1max_reprompt_len: int = 10240use_successful_as_teacher: bool = Truesuccess_reward_threshold: float = 1.0reprompt_template: str = '{prompt}{solution}{feedback}\n\nCorrectly solve the original question.\n'solution_template: str = '\nCorrect solution:\n\n{successful_previous_attempt}\n\n'feedback_template: str = '\nThe following is feedback from your unsuccessful earlier attempt:\n\n{feedback_raw}\n\n'include_environment_feedback: bool = Falseenvironment_feedback_only_without_solution: bool = Falseremove_thinking_from_demonstration: bool = Falsediagnostics_warning_interval: int = 10diagnostics_flat_tolerance: float = 1e-08 )
Các tham số kiểm soát mục tiêu chính sách trực tuyến
- beta (
float, tùy chọn, mặc định là0.0) — Hệ số KL. Nếu0.0(mặc định), mô hình tham chiếu sẽ không được nạp, giúp giảm mức sử dụng bộ nhớ và cải thiện tốc độ huấn luyện. DeepSeek-R1 khuyến khích suy luận trong LLM thông qua học tăng cường sử dụng giá trị0.001. - epsilon (
float, tùy chọn, mặc định là0.2) — Giá trị epsilon cho việc cắt (clipping). - epsilon_high (
float, tùy chọn) — Giá trị epsilon cận trên để cắt. Nếu không được chỉ định, mặc định sẽ bằng giá trị cận dưới được chỉ định trong tham sốepsilon. Bài báo DAPO khuyến nghị0.28. - importance_sampling_level (
str, tùy chọn, mặc định là"token") — Kiểm soát việc tỷ lệ lấy mẫu quan trọng (importance sampling ratios) được tính ở mức'token'hay'sequence'.'token'giữ nguyên các tỷ lệ log-probability thô cho từng token (một trọng số cho mỗi token).'sequence'lấy trung bình các tỷ lệ log-probability trên các token hợp lệ để tạo ra một tỷ lệ duy nhất cho mỗi sequence. Bài báo GSPO cho thấy rằng việc lấy mẫu ở mức sequence thường mang lại quá trình huấn luyện ổn định hơn và sự phù hợp tốt hơn với phần thưởng ở mức sequence. - reward_weights (
list[float], tùy chọn) — Trọng số cho mỗi hàm phần thưởng. Phải khớp với số lượng các hàm phần thưởng. Nếu làNone, tất cả các phần thưởng sẽ được cân bằng với trọng số1.0. - scale_rewards (
strhoặcbool, tùy chọn, mặc định là"group") — Chỉ định chiến lược chuẩn hóa phần thưởng. Các giá trị được hỗ trợ là:Truehoặc'group'(mặc định): phần thưởng được chuẩn hóa theo độ lệch chuẩn trong từng nhóm, đảm bảo phương sai đơn vị trong một nhóm.'batch': phần thưởng được chuẩn hóa theo độ lệch chuẩn trên toàn bộ batch, như được đề xuất trong bài báo PPO Lite.Falsehoặc'none': không áp dụng chuẩn hóa. Bài báo Dr. GRPO đề xuất không chuẩn hóa phần thưởng, vì việc chuẩn hóa theo độ lệch chuẩn sẽ gây ra thiên kiến về độ khó ở cấp độ câu hỏi.
Các tham số kiểm soát tổn thất SDPO
- distillation_weight (
float, tùy chọn, mặc định là1.0) — Trọng số tổ hợp lồi giữa các mục tiêu chính sách và tự chưng cất. Tổn thất là(1 - distillation_weight) * policy_loss + distillation_weight * distillation_loss. Phải nằm trong khoảng[0, 1].1.0(mặc định) huấn luyện thuần túy bằng tự chưng cất,0.0quay về gradient chính sách kiểu GRPO tiêu chuẩn, và các giá trị trung gian kết hợp cả hai. - distillation_alpha (
float, tùy chọn, mặc định là1.0) — Hệ số nội suy phân kỳ. SDPO cho token được lấy mẫu yêu cầu cài đặt reverse-KL chính thứcdistillation_alpha=1.0. - distillation_mode (
Literal["sampled_token", "full_logits", "topk_logits"], tùy chọn, mặc định là"sampled_token") — Chế độ mục tiêu chưng cất.sampled_tokenlà chế độ SDPO mặc định và yêu cầudistillation_alpha=1.0. - distillation_topk (
int, tùy chọn) — Xấp xỉ top-k cho SDPO ở cấp độ logit. Phải được đặt khidistillation_mode=topk_logitsvà để trống trong các trường hợp khác. - distillation_is_clip (
float, tùy chọn, mặc định là2.0) — Hệ số cắt cho lấy mẫu quan trọng trong tự chưng cất.Nonetắt việc cắt. - distillation_add_tail (
bool, tùy chọn, mặc định làFalse) — Có thêm một bucket đuôi cho khối lượng xác suất không thuộc top-k hay không.
Các tham số điều khiển teacher
- teacher_model_kind (
str, tùy chọn, mặc định là"ema") — Lựa chọn giáo viên ngữ nghĩa.basesử dụng học sinh ban đầu,livesử dụng học sinh hiện tại, vàemasử dụng giáo viên trung bình mũ. - teacher_update_rate (
float, tùy chọn, mặc định là0.05) — Tốc độ cập nhật của teacher được sử dụng để đồng bộ hóa teacher EMA. - teacher_sync_steps (
int, tùy chọn, mặc định là1) — Tần suất đồng bộ hóa mô hình teacher EMA.
Các tham số kiểm soát việc nhắc lại
- use_successful_as_teacher (
bool, tùy chọn, mặc định làTrue) — Sử dụng các rollout thành công làm phản hồi ẩn cho tự phân phối (self-distillation). - success_reward_threshold (
float, tùy chọn, mặc định là1.0) — Phần thưởng tối thiểu để một rollout được coi là một minh chứng thành công. - dont_reprompt_on_self_success (
bool, tùy chọn, mặc định làTrue) — Bỏ qua việc nhắc lại khi mô hình tạo ra câu trả lời chính xác. - max_reprompt_len (
int, tùy chọn, mặc định là10240) — Độ dài tối đa cho việc reprompt trong self-distillation. - reprompt_template (
str, tùy chọn, mặc định là"{prompt}{solution}{feedback}\n\nCorrectly solve the original question.\n") — Mẫu để nhắc lại cho giáo viên với một minh chứng thành công. - solution_template (
str, tùy chọn, mặc định là"\nCorrect solution -- \n\n{successful_previous_attempt}\n\n"): Mẫu để định dạng văn bản minh họa thành công. - feedback_template (
str, tùy chọn, mặc định là"\nThe following is feedback from your unsuccessful earlier attempt -- \n\n{feedback_raw}\n\n"): Mẫu để định dạng phản hồi từ môi trường cho việc nhắc lại. - include_environment_feedback (
bool, tùy chọn, mặc định làFalse) — Liệu có bao gồm phản hồi từ môi trường trong các yêu cầu nhắc lại của giáo viên khi có sẵn hay không. - environment_feedback_only_without_solution (
bool, tùy chọn, mặc định làFalse) — Liệu có chỉ sử dụng phản hồi khi không có giải pháp thành công nào hay không. - remove_thinking_from_demonstration (
bool, tùy chọn, mặc định làFalse) — Có nên loại bỏ các khối <think>…</think> khỏi văn bản minh họa hay không.
Các tham số kiểm soát chẩn đoán
- diagnostics_warning_interval (
int, tùy chọn, mặc định là10) — In các chẩn đoán trainer lặp lại mỗi N bước suy thoái liên tiếp. Đặt thành 0 để tắt. - diagnostics_flat_tolerance (
float, tùy chọn, mặc định là1e-8) — Ngưỡng dung sai được sử dụng để quyết định xem phương sai phần thưởng hay hoạt động reprompt có thực sự bằng không hay không.
Các tham số điều khiển mô hình
- model_init_kwargs (
dict[str, Any], tùy chọn) — Các đối số dạng từ khóa chotransformers.AutoModelForCausalLM.from_pretrained, được sử dụng khi đối sốmodelcủaSDPOTrainerđược cung cấp dưới dạng chuỗi. Giá trịrevisioncũng được sử dụng khi nạp các lớp xử lý. - trust_remote_code (
bool, tùy chọn, mặc định làFalse) — Có cho phép tải các model và tokenizer có kèm theo mã Python tùy chỉnh từ Hub hay không. Tham số này được chuyển tiếp đến from_pretrained và from_pretrained. Cũng được áp dụng cho việc tải reward-model và reward-tokenizer. - disable_dropout (
bool, tùy chọn, mặc định làTrue) — Có vô hiệu hóa dropout trong mô hình hay không. Điều này hữu ích khi huấn luyện với một mô hình tham chiếu, vì nó ngăn mô hình tạo ra các logprobs khác nhau cho cùng một đầu vào.
Các tham số kiểm soát tiền xử lý dữ liệu
- remove_unused_columns (
bool, tùy chọn, mặc định làFalse) — Có nên chỉ giữ lại cột ‘prompt’ trong bộ dữ liệu hay không. Nếu bạn sử dụng một hàm thưởng tùy chỉnh yêu cầu bất kỳ cột nào khác ngoài ‘prompts’ và ‘completions’, bạn nên giữ giá trị này làFalse. - max_prompt_length (
int, tùy chọn, mặc định là512) — Độ dài tối đa của prompt. Các prompt dài hơn sẽ bị cắt bỏ từ phía bên trái. - shuffle_dataset (
bool, tùy chọn, mặc định làTrue) — Có nên xáo trộn bộ dữ liệu huấn luyện hay không.
Các tham số kiểm soát quá trình sinh
- num_generations (
int, tùy chọn, mặc định là8) — Số lượng thế hệ cần lấy mẫu. Kích thước lô hiệu dụng (num_processes per_device_batch_size gradient_accumulation_steps) phải chia hết cho giá trị này. - num_generations_eval (
int, tùy chọn) — Số lượng generation cần lấy mẫu trong quá trình đánh giá. Điều này cho phép sử dụng ít generation hơn trong đánh giá để tiết kiệm tài nguyên tính toán. Nếu làNone, sẽ sử dụng giá trị củanum_generations. - max_completion_length (
int, tùy chọn, mặc định là256) — Độ dài tối đa của phần hoàn thành được tạo ra. - temperature (
float, tùy chọn, mặc định là1.0) — Nhiệt độ cho quá trình lấy mẫu. Nhiệt độ càng cao, các phần hoàn thành càng ngẫu nhiên. - top_p (
float, tùy chọn, mặc định là1.0) — Kiểm soát xác suất tích lũy của các token hàng đầu cần xem xét. Phải nằm trong khoảng (0, 1]. Đặt bằng 1.0 để xem xét tất cả các token. - top_k (
int, tùy chọn, mặc định là0) — Số lượng token từ vựng có xác suất cao nhất được giữ lại cho lọc top-k. Nếu là0, lọc top-k sẽ bị vô hiệu hóa và tất cả các token đều được xem xét. - min_p (
float, tùy chọn) — Xác suất tối thiểu của token, sẽ được nhân với xác suất của token có khả năng cao nhất. Giá trị này phải nằm trong khoảng từ 0.0 đến 1.0. Các giá trị điển hình thường nằm trong khoảng 0.01-0.2. - repetition_penalty (
float, tùy chọn, mặc định là1.0) — Giá trịfloatáp dụng hình phạt cho các token mới dựa trên việc chúng có xuất hiện trong prompt và văn bản đã tạo ra cho đến hiện tại hay không. Các giá trị > 1.0 khuyến khích mô hình sử dụng các token mới, trong khi các giá trị < 1.0 khuyến khích mô hình lặp lại các token. - cache_implementation (
str, tùy chọn) — Cách triển khai phương pháp cache để tạo nhanh hơn khi use_vllm được đặt thành False. - generation_kwargs (
dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung để truyền choGenerationConfig(nếu dùng transformers) hoặcSamplingParams(nếu dùng vLLM) khi lấy mẫu các câu trả lời hoàn chỉnh. Tham số này có thể được dùng để tùy chỉnh thêm hành vi sinh, chẳng hạn đặtsuppress_tokens,num_beams, v.v. Nếu nó chứa các khóa xung đột với các tham số sinh khác (nhưmin_p,top_p, v.v.), chúng sẽ ghi đè lên các tham số đó. - chat_template_kwargs (
dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung để truyền cho hàmapply_chat_templatekhi tạo các câu trả lời hoàn chỉnh. - ds3_gather_for_generation (
bool, tùy chọn, mặc định làTrue) — Cài đặt này áp dụng cho DeepSpeed ZeRO-3. Nếu được bật, trọng số của mô hình chính sách sẽ được thu thập (gather) cho quá trình sinh, giúp cải thiện tốc độ sinh. Tuy nhiên, việc tắt tùy chọn này cho phép huấn luyện các mô hình vượt quá dung lượng VRAM của một GPU đơn lẻ, dù phải đánh đổi bằng tốc độ sinh chậm hơn. Việc tắt tùy chọn này không tương thích với sinh bằng vLLM.
Các tham số kiểm soát việc tăng tốc sinh nội dung được hỗ trợ bởi vLLM
- use_vllm (
bool, tùy chọn, mặc định làFalse) — Có sử dụng vLLM để tạo các câu trả lời hoàn chỉnh hay không. Nếu đặt thànhTrue, trình huấn luyện sẽ sử dụng vLLM để tạo nội dung thay vì model.generate() mặc định. Yêu cầuvllmphải được cài đặt. - use_teacher_server (
bool, tùy chọn, mặc định làFalse) — Tính logprobs của teacher từ máy chủ sinh vLLM đang chạy thay vì một bước forward cục bộ của teacher. Chỉ được hỗ trợ vớiteacher_model_kind='live'cùnguse_vllm=True,vllm_mode='server',distillation_weight=1.0(chỉ thuần túy distillation), vàdistillation_modenằm trong {‘sampled_token’, ‘topk_logits’} (máy chủ trả về top-k logprobs của teacher, không phải toàn bộ bảng từ vựng;topk_logitsthực hiện distillation trên phạm vi top-k của chính teacher). - vllm_mode (
str, tùy chọn, mặc định là"colocate") — Chế độ sử dụng cho tích hợp vLLM khiuse_vllmđược đặt thànhTrue. Phải là một trong'server'hoặc'colocate'.'server': Trainer sẽ gửi các yêu cầu sinh nội dung đến một máy chủ vLLM riêng biệt. Hãy đảm bảo rằng máy chủ vLLM đang chạy (khởi động bằngvllm serve).'colocate': vLLM sẽ chạy trong cùng tiến trình và chia sẻ các GPU huấn luyện. Cách này tránh được nhu cầu về một máy chủ riêng nhưng có thể gây ra xung đột tài nguyên với quá trình huấn luyện. - vllm_model_impl (
str, tuỳ chọn, mặc định là"vllm") — Cài đặt mô hình để sử dụng cho vLLM. Phải là một trongtransformershoặcvllm.transformers: Sử dụng backendtransformerscho cài đặt mô hình.vllm: Sử dụng thư việnvllmcho cài đặt mô hình. - vllm_enable_sleep_mode (
bool, tùy chọn, mặc định làFalse) — Bật chế độ ngủ của vLLM để chuyển trọng số/bộ đệm ra ngoài trong bước tối ưu hóa. Giữ mức sử dụng bộ nhớ GPU thấp, nhưng việc đánh thức engine sẽ thêm độ trễ chuyển dữ liệu giữa host và thiết bị. - vllm_server_base_url (
str, tùy chọn) — URL gốc cho máy chủ vLLM (ví dụ: ‘http://localhost:8000’). Nếu được cung cấp,vllm_server_hostvàvllm_server_portsẽ bị bỏ qua. - vllm_server_host (
str, tùy chọn, mặc định là"0.0.0.0") — Host của máy chủ vLLM cần kết nối. Bỏ qua nếu đã cung cấp vllm_server_base_url. - vllm_server_port (
int, tùy chọn, mặc định là8000) — Cổng của máy chủ vLLM để kết nối. Bỏ qua nếu vllm_server_base_url được cung cấp. - vllm_group_port (
int, tuỳ chọn, mặc định là51216) — Số cổng cho nhóm cập nhật trọng số. Cổng này được dùng để liên lạc với máy chủ vLLM. Trừ khi cổng đang bị chiếm dụng, bạn không cần phải thay đổi nó. - vllm_server_timeout (
float, tuỳ chọn, mặc định là240.0) — Tổng thời gian chờ (tính bằng giây) để máy chủ vLLM khởi động. Nếu máy chủ chưa sẵn sàng sau thời gian chờ này, mộtConnectionErrorsẽ được ném ra. - vllm_tensor_parallel_size (
int, tùy chọn, mặc định là1) — Kiểm soát kích thước song song tensor cho vLLM. Cài đặt này chỉ áp dụng khivllm_modeđược đặt thành'colocate'. Nếu bạn đang sử dụngvllm_mode='server', tham số này phải được truyền riêng khi khởi động máy chủ vLLM thông qua cờ--vllm_tensor_parallel_size. - vllm_gpu_memory_utilization (
float, tuỳ chọn, mặc định là0.3) — Kiểm soát mức sử dụng bộ nhớ GPU cho vLLM. Cài đặt này chỉ áp dụng khivllm_modeđược đặt thành'colocate'. Nếu bạn đang sử dụngvllm_mode='server', tham số này phải được truyền riêng khi khởi động máy chủ vLLM thông qua cờ--vllm_gpu_memory_utilization. - vllm_max_model_length (
int, tùy chọn) — Cửa sổ ngữ cảnh cho vLLM. Đặt giá trị này ít nhất bằng độ dài prompt tối đa trong bộ dữ liệu cộng vớimax_completion_length; nếu bỏ qua, giá trị sẽ được suy ra từ cấu hình mô hình.
Các tham số kiểm soát quá trình huấn luyện
- loss_type (
str, tùy chọn, mặc định là"dapo") — Chỉ định công thức loss cần sử dụng. Các giá trị được hỗ trợ là ‘grpo’, ‘bnpo’, ‘dr_grpo’ và ‘dapo’. ‘grpo’: Tổng hợp các loss ở cấp độ token bằng cách chuẩn hóa theo độ dài chuỗi. Không khuyến nghị do thiên lệch về độ dài—phương pháp này có xu hướng ưu tiên các completion ngắn hơn khi advantage dương và dài hơn khi advantage âm. ‘dapo’ (mặc định): Tổng hợp các loss ở cấp độ token bằng cách chuẩn hóa theo số lượng token hoạt động trong batch tích lũy toàn cục. Phương pháp này được giới thiệu trong bài báo DAPO để loại bỏ thiên lệch về độ dài. ‘dr_grpo’: Tổng hợp các loss ở cấp độ token bằng cách chuẩn hóa theo một hằng số toàn cục. Phương pháp này được giới thiệu trong bài báo Dr. GRPO để loại bỏ thiên lệch về độ dài. Giá trị của hằng số tương ứng vớimax_completion_length. ‘bnpo’: Tổng hợp các loss ở cấp độ token bằng cách chuẩn hóa theo số lượng token hoạt động trong batch cục bộ. Lưu ý rằng việc chuẩn hóa chỉ được thực hiện trên batch cục bộ, do đó kết quả có thể khác nhau đôi chút tùy thuộc vào kích thước batch cục bộ, mặc dù kích thước batch hiệu dụng là không đổi. Khi sử dụngper_device_train_batch_size==1, loss tương đương với loss GRPO. - num_iterations (
int, tùy chọn, mặc định là1) — Số lần lặp cho mỗi batch (ký hiệu là μ trong thuật toán). - generation_batch_size (
int, tùy chọn) — Kích thước batch để sử dụng cho quá trình sinh. Nếu làNone, giá trị mặc định sẽ là kích thước batch huấn luyện hiệu dụng:per_device_train_batch_size * num_processes * steps_per_generation. - steps_per_generation (
int, tùy chọn) — Số bước cho mỗi lần sinh. Nếu làNone, giá trị mặc định sẽ làgradient_accumulation_steps. - mask_truncated_completions (
bool, tùy chọn, mặc định làFalse) — Khi được bật, các phần hoàn thành bị cắt ngắn sẽ bị loại khỏi việc tính toán loss, ngăn chúng bị phạt sai và gây nhiễu trong quá trình huấn luyện. Theo bài báo DAPO, đây là một thực hành tốt cho sự ổn định của huấn luyện.
Lớp cấu hình cho experimental.sdpo.SDPOTrainer.
SDPOTrainer
lớp trl.experimental.sdpo.SDPOTrainer
< source >( model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module]reward_funcs: typing.Any | list[typing.Any] | None = Noneargs: trl.experimental.sdpo.sdpo_config.SDPOConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config = None )
Trainer cho Tối ưu hóa Chính sách Tự phân phối (SDPO).
SDPO tăng cường tối ưu hóa on-policy bằng cách tự chưng cất từ các quỹ đạo phần thưởng cao của chính mô hình. Nó chuyển đổi phản hồi đã được token hóa thành tín hiệu học tập dày đặc mà không cần giáo viên bên ngoài hay mô hình phần thưởng tường minh. SDPO coi mô hình hiện tại có điều kiện theo phản hồi như một giáo viên tự thân và chưng cất các dự đoán token tiếp theo có thông tin phản hồi của nó trở lại chính sách.
train
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Tham số
- resume_from_checkpoint (
strhoặcbool, tùy chọn) — Nếu làstr, đường dẫn cục bộ đến một checkpoint đã lưu bởi một phiênTrainertrước đó. Nếu làboolvà bằngTrue, tải checkpoint cuối cùng trong args.output_dir do một phiênTrainertrước đó lưu lại. Nếu có, quá trình huấn luyện sẽ tiếp tục từ trạng thái model/optimizer/scheduler được tải ở đây. - trial (
optuna.Trialhoặcdict[str, Any], tùy chọn) — Lần chạy thử nghiệm hoặc từ điển siêu tham số cho việc tìm kiếm siêu tham số. - ignore_keys_for_eval (
list[str], tùy chọn) — Một danh sách các khóa trong đầu ra của mô hình của bạn (nếu đó là một từ điển) cần được bỏ qua khi thu thập các dự đoán để đánh giá trong quá trình huấn luyện.
Trả về
~trainer_utils.TrainOutput
Đối tượng chứa số bước toàn cục, tổn thất huấn luyện và các chỉ số.
Điểm vào chính cho quá trình huấn luyện.
Sẽ lưu mô hình, để bạn có thể tải lại bằng from_pretrained().
Chỉ lưu từ tiến trình chính.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Tham số
- commit_message (
str, tùy chọn, mặc định là"End of training") — Thông điệp để commit khi đẩy lên. - blocking (
bool, tùy chọn, mặc định làTrue) — Xác định xem hàm có chỉ trả về khigit pushđã hoàn tất hay không. - token (
str, tùy chọn, mặc định làNone) — Token có quyền ghi để ghi đè lên các args gốc của Trainer. - revision (
str, tùy chọn) — Phiên bản git để commit từ. Mặc định là đầu của nhánh “main”. - private (
bool, tuỳ chọn) — Xác định xem có đặt kho thành riêng tư khi tạo hay không. Mặc định làargs.hub_private_repo. Không có tác dụng nếu kho đã tồn tại. - kwargs (
dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến~Trainer.create_model_card.
Tải self.model và self.processing_class lên 🤗 model hub tại repo self.args.hub_model_id.