TRL documentation
مدرب DPO عبر الإنترنت
مدرب DPO عبر الإنترنت
نظرة عامة
قُدم DPO عبر الإنترنت في Direct Language Model Alignment from Online AI Feedback من قِبل Shangmin Guo وBiao Zhang وTianlin Liu وTianqi Liu وMisha Khalman وFelipe Llinares وAlexandre Rame وThomas Mesnard وYao Zhao وBilal Piot وJohan Ferret وMathieu Blondel.
المستخلص من الورقة البحثية هو كالتالي:
طرق المحاذاة المباشرة من التفضيلات (DAP)، مثل DPO، ظهرت مؤخرًا كبديل فعّال لتعلم المعزز من تغذية راجعة بشرية (RLHF)، إذ لا تتطلب نموذج مكافأة منفصلًا. ومع ذلك، فإن مجموعات بيانات التفضيلات المستخدمة في طرق DAP تُجمع عادةً قبل التدريب ولا تُحدَّث أبدًا، وبالتالي تكون التغذية الراجعة غير متصلة تمامًا. علاوة على ذلك، غالبًا ما تكون الاستجابات في هذه المجموعات مُستخرجة من نموذج لغة مختلف عن النموذج الذي يجري محاذاته، وبما أن النموذج يتطور خلال التدريب، فإن مرحلة المحاذاة تكون حتمًا خارج السياسة. في هذه الدراسة، نفترض أن التغذية الراجعة المتصلة هي المفتاح وتحسّن طرق DAP. يستخدم منهجنا، التغذية الراجعة الاصطناعية المتصلة (OAIF)، نموذج لغة كمُعلِّم: في كل تكرار تدريب، نستخرج استجابتين من النموذج الحالي ونطلب من نموذج اللغة المُعلِّم اختيار أيهما مفضّل، مما يوفر تغذية راجعة متصلة. وعلى الرغم من بساطته، نُثبت عبر التقييم البشري في مهام متعددة أن OAIF يتفوق على كل من طرق DAP غير المتصلة وطرق RLHF. كما نُظهر أن التغذية الراجعة المستغلة في OAIF قابلة للتحكم بسهولة، من خلال أوامر تعليمية موجّهة إلى نموذج اللغة المُعلِّم.
تمت مساهمة طريقة ما بعد التدريب هذه من قِبل Michael Noukhovitch وShengyi Costa Huang وQuentin Gallouédec وEdward Beeching.
البدء السريع
يُظهر هذا المثال كيفية تدريب نموذج باستخدام طريقة DPO عبر الإنترنت. نستخدم نموذج Qwen 0.5B كنموذج أساسي ونموذج المكافأة trl-lib/Qwen2-0.5B-Reward. نستخدم الأوامر من مجموعة بيانات UltraFeedback. يمكنك الاطلاع على الأوامر في مجموعة البيانات هنا:
فيما يلي السكربت لتدريب النموذج:
# train_online_dpo.py
from datasets import load_dataset
from trl.experimental.online_dpo import OnlineDPOConfig, OnlineDPOTrainer
from transformers import AutoModelForCausalLM, AutoModelForSequenceClassification, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
reward_model = AutoModelForSequenceClassification.from_pretrained("trl-lib/Qwen2-0.5B-Reward", num_labels=1)
train_dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")
training_args = OnlineDPOConfig(output_dir="Qwen2-0.5B-OnlineDPO")
trainer = OnlineDPOTrainer(
model=model, reward_funcs=reward_model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset
)
trainer.train()نفّذ السكربت باستخدام الأمر التالي:
torchrun --nproc_per_node 8 train_online_dpo.py
عند التوزيع على 8 وحدات معالجة رسومية (GPU)، يستغرق التدريب حوالي ساعة واحدة. يمكنك التحقق من تقدم التدريب عن طريق فحص مخطط المكافأة. يشير الاتجاه التصاعدي في كل من مكافأة الإكمالات المرفوضة والمختارة إلى أن النموذج يتحسن ويولّد استجابات أفضل مع مرور الوقت.

لرؤية أداء النموذج المدرَّب، يمكنك استخدام Transformers Chat CLI.
$ transformers chat trl-lib/Qwen2-0.5B-OnlineDPO
<quentin_gallouedec>:
What is the best programming language?
<trl-lib/Qwen2-0.5B-OnlineDPO>:
The best programming language depends on your specific needs and priorities. Some people prefer imperative programming languages (like Haskell or Lisp), while others prefer functional programming languages (like Scala or Python). It's important to consider your work style, programming environment, and project requirements when choosing a programming language.
نوع مجموعة البيانات المتوقع
يتطلب DPO عبر الإنترنت مجموعة بيانات تتضمن المحفّز فقط (على عكس DPO غير المتصل، الذي يتوقع مجموعة بيانات تفضيلات). يدعم experimental.online_dpo.OnlineDPOTrainer كلا من صيغ مجموعات البيانات المحادثية والمعيارية. عند تزويده بمجموعة بيانات محادثية، سيطبّق المدرب قالب المحادثة على مجموعة البيانات تلقائيًا.
نصائح للاستخدام
تشجيع توليد رمز EOS
عند استخدام نموذج مكافأة، قد نرغب في أن يولّد النموذج إكمالات ضمن طول محدد. أثناء التدريب، سيولّد النموذج إكمالات حتى الطول الأقصى المحدد في الحجة max_new_tokens الخاصة بـ experimental.online_dpo.OnlineDPOConfig. إذا كنت ترغب في معاقبة النموذج لعدم توليد رمز EOS قبل الوصول إلى الطول الأقصى، يمكنك استخدام الحجة missing_eos_penalty الخاصة بـ experimental.online_dpo.OnlineDPOConfig:
training_args = OnlineDPOConfig(..., max_new_tokens=128, missing_eos_penalty=1.0)تسجيل المكملات
لفهم سلوك نموذجك بشكل أفضل أثناء التدريب، يمكنك تسجيل اكتمالات العينات بشكل دوري باستخدام LogCompletionsCallback.
trainer = OnlineDPOTrainer(..., eval_dataset=eval_dataset)
completions_callback = LogCompletionsCallback(trainer, num_prompts=8)
trainer.add_callback(completions_callback)يسجّل هذا المستدعي المكتملات التي يولّدها النموذج مباشرةً في Weights & Biases.

المقاييس المسجّلة
أثناء التدريب والتقييم، نسجّل المقاييس التالية. وفيما يلي مثال على تشغيل مُتتبَّع في Weights and Biases
objective/kl: متوسط تباعد كولباك-ليبلر (KL) بين النموذج الحالي ونموذج المرجع.objective/entropy: متوسط إنتروبيا النموذج، مما يدل على عشوائية الإجراءات التي يختارها النموذج.objective/non_score_reward: متوسط المكافأة من المصادر غير المرتبطة بالدرجة، وهو في الأساسbeta * kl.sum(1)، حيثbetaهو معامل عقوبة KL وklهو تباعد KL لكل رمز.objective/rlhf_reward: متوسط مكافأة RLHF، وهوscores - non_score_reward. تُعدّrlhf_rewardالهدف النهائي لتدريب DPO عبر الإنترنت. إذا كان التدريب يعمل كما هو مقصود، فيجب أن يستمر هذا المقياس في الارتفاع.objective/scores: متوسط الدرجات التي يعيدها نموذج المكافأة.objective/scores_margin: متوسط هامش النقاط (وفقًا لنموذج المكافأة الخارجي) بين الإكمالات المختارة والمرفوضة.rewards/chosen: متوسط المكافأة (وفقًا لنموذج المكافأة الضمني الخاص بـ DPO عبر الإنترنت) لإكمالات الاختيار.rewards/rejected: متوسط المكافأة (وفقًا لنموذج المكافأة الضمني الخاص بـ DPO عبر الإنترنت) لإكمالات الرفض.rewards/accuracies: دقة نموذج المكافأة الضمني الخاص بـ DPO المباشر.rewards/margins: متوسط هامش المكافأة (وفقًا لنموذج المكافأة الضمني الخاص بـ DPO عبر الإنترنت) بين الإكمالين المختار والمرفوض.logps/chosen: متوسط احتمالات السجل (log probabilities) للإكمالات المختارة.logps/rejected: متوسط احتمالات السجل (log probabilities) للإكمالات المرفوضة.val/contain_eos_token: نسبة المكملات التي تحتوي على رمز EOS.beta: المعامل الذي يتحكم في وزن حد الخسارة الذي يمثل الانحراف عن النموذج المرجعي. عادةً ما يكون ثابتًا، لكن يمكن جعله ديناميكيًا عن طريق تمرير قائمة إلى experimental.online_dpo.OnlineDPOConfig.
تجارب المعايير
للتحقق من أن تطبيق DPO عبر الإنترنت يعمل بشكل صحيح، أجرينا تجارب باستخدام نماذج Pythia بحجم 1B و2.8B و6.9B على عقدة واحدة مجهزة بـ 8 وحدات H100. فيما يلي الأوامر التي استخدمناها لتشغيل التجارب، مع استخدام سكربت مثال DPO عبر الإنترنت كما كان موجودًا في ذلك الوقت (examples/scripts/online_dpo.py، وقد تم حذفه لاحقًا) — لإعادة إنتاج النتائج، قم بالتنفيذ من نسخة checkout للإصدار v1.10.0 (git checkout v1.10.0). نأخذ نماذج SFT / RM مباشرة من The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization.
# 1B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml \
examples/scripts/online_dpo.py \
--model_name_or_path trl-lib/pythia-1b-deduped-tldr-sft \
--reward_model_path trl-lib/pythia-1b-deduped-tldr-rm \
--dataset_name trl-lib/tldr \
--learning_rate 5.0e-7 \
--output_dir pythia-1b-deduped-tldr-online-dpo \
--beta 0.1 \
--per_device_train_batch_size 8 \
--gradient_accumulation_steps 2 \
--num_train_epochs 3 \
--max_new_tokens 53 \
--warmup_steps 0.1 \
--missing_eos_penalty 1.0 \
--save_steps 0.1 \
--push_to_hub
# 2.8B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
examples/scripts/online_dpo.py \
--model_name_or_path trl-lib/pythia-2.8b-deduped-tldr-sft \
--reward_model_path trl-lib/pythia-2.8b-deduped-tldr-rm \
--dataset_name trl-lib/tldr \
--learning_rate 5.0e-7 \
--output_dir pythia-2.8b-deduped-tldr-online-dpo \
--beta 0.1 \
--per_device_train_batch_size 8 \
--gradient_accumulation_steps 2 \
--num_train_epochs 3 \
--max_new_tokens 53 \
--warmup_steps 0.1 \
--missing_eos_penalty 1.0 \
--save_steps 0.1 \
--push_to_hub
# 6.9B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
examples/scripts/online_dpo.py \
--model_name_or_path trl-lib/pythia-6.9b-deduped-tldr-sft \
--reward_model_path trl-lib/pythia-6.9b-deduped-tldr-rm \
--dataset_name trl-lib/tldr \
--learning_rate 5.0e-7 \
--output_dir pythia-6.9b-deduped-tldr-online-dpo \
--beta 0.1 \
--per_device_train_batch_size 4 \
--gradient_accumulation_steps 4 \
--num_train_epochs 3 \
--max_new_tokens 53 \
--warmup_steps 0.1 \
--missing_eos_penalty 1.0 \
--save_steps 0.1 \
--push_to_hubيتم تتبع التجربة في هذا تقرير W&B 🐝.
يزداد معدل الفوز لنقطة التفتيش الخاصة بـ DPO عبر الإنترنت بشكل متزايد كلما قمنا بزيادة أحجام النماذج. وهذا مؤشر جيد على أن تطبيق DPO عبر الإنترنت يعمل كما هو مقصود.
OnlineDPOTrainer
فئة trl.experimental.online_dpo.OnlineDPOTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str]ref_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, NoneType] = Nonereward_funcs: str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]] | list[str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]]] | None = Noneargs: trl.experimental.online_dpo.online_dpo_config.OnlineDPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, NoneType] = Noneeval_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, dict[str, typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset]], NoneType] = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = None )
المعاملات
- model (
str | nn.Module | PreTrainedModel) — النموذج المراد تدريبه. يمكن أن يكون أحد ما يلي:- A string, being the model id of a pretrained model hosted inside a model repo on huggingface.co, or a
path to a directory containing model weights saved using
save_pretrained, e.g.,
'./my_model_directory/'. The model is loaded using from_pretrained with the keyword arguments inargs.model_init_kwargs. - كائن PreTrainedModel. يتم دعم نماذج اللغة السببية فقط.
- A string, being the model id of a pretrained model hosted inside a model repo on huggingface.co, or a
path to a directory containing model weights saved using
save_pretrained, e.g.,
- ref_model (PreTrainedModel أو
torch.nn.ModuleأوNone) — النموذج المرجعي المستخدم للتدريب. إذا تم تحديد None، فسيتم إنشاء النموذج المرجعي من النموذج. - reward_funcs (
RewardFunc | list[RewardFunc]) — دوال المكافآت المستخدمة لحساب المكافآت. لحساب المكافآت، نستدعي جميع دوال المكافآت باستخدام الاستعلامات (prompts) والإكمالات (completions) ثم نجمع المكافآت. يمكن أن تكون:- دالة مكافأة واحدة: يمكن أن تكون نصًا (مسار إلى النموذج)، أو PreTrainedModel، أو دالة قابلة للاستدعاء مخصصة.
- قائمة من دوال المكافأة: يجب أن تكون جميعها من أنواع متوافقة.
- args (experimental.online_dpo.OnlineDPOConfig) — معاملات تكوين DPO عبر الإنترنت المستخدمة للتدريب.
- data_collator (
DataCollator) — مجمّع البيانات (Data Collator) المستخدم للتدريب. إذا تم تحديد None، فسيتم استخدام مجمّع البيانات الافتراضي (experimental.utils.DPODataCollatorWithPadding) والذي سيملأ التسلسلات حتى الطول الأقصى للتسلسلات في الدفعة (batch)، معطياً مجموعة بيانات من التسلسلات المزدوجة. - train_dataset (Dataset أو IterableDataset) — مجموعة البيانات المستخدمة للتدريب.
- eval_dataset (Dataset أو IterableDataset أو
dict[str, Dataset | IterableDataset]) — مجموعة البيانات المستخدمة للتقييم. - processing_class (PreTrainedTokenizerBase أو ProcessorMixin، اختياري) — فئة المعالجة المستخدمة لمعالجة البيانات. إذا تم توفيرها، فستُستخدم لمعالجة المدخلات تلقائيًا للنموذج، وستُحفظ مع النموذج لتسهيل إعادة تشغيل التدريب المقطوع أو إعادة استخدام النموذج المُحسَّن.
- reward_processing_classes (PreTrainedTokenizerBase أو
list[PreTrainedTokenizerBase], اختياري) — فئات المعالجة المقابلة لدوال المكافأة المحددة فيreward_funcs. يمكن أن تكون إما:- فئة معالجة واحدة: تُستخدم عندما يحتوي
reward_funcsعلى دالة مكافأة واحدة فقط. - قائمة من فئات المعالجة: يجب أن تتطابق مع ترتيب وطول دوال المكافأة في
reward_funcs.
إذا تم تعيينه إلى
None، يتم تحميل مُجزِّئ الرموز لكل دالة مكافأة مبنية على نموذج تلقائيًا باستخدام from_pretrained. - فئة معالجة واحدة: تُستخدم عندما يحتوي
- peft_config (
PeftConfig، اختياري) — إعدادات PEFT المستخدمة لتغليف النموذج. إذا كانتNone، فلن يتم تغليف النموذج. - compute_metrics (
Callable[[EvalPrediction], dict], اختياري) — الدالة المستخدمة لحساب المقاييس. يجب أن تستقبلEvalPredictionوتعيد قاموسًا من السلاسل النصية إلى قيم المقاييس. - callbacks (
list[transformers.TrainerCallback]) — المستدعات (callbacks) المستخدمة للتدريب. - optimizers (
tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — المُحسِّن ومجدول معدل التعلم المستخدمان للتدريب. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — الدالة المستخدمة لمعالجة القيم الأولية (logits) قبل حساب المقاييس.
قم بتهيئة OnlineDPOTrainer.
تدريب
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
المعاملات
- resume_from_checkpoint (
strأوbool، اختياري) — إذا كانstr، فهو المسار المحلي لنقطة تفتيش محفوظة بواسطة نسخة سابقة منTrainer. وإذا كانboolويساويTrue، يتم تحميل آخر نقطة تفتيش في args.output_dir كما حفظتها نسخة سابقة منTrainer. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا. - trial (
optuna.Trialأوdict[str, Any]، اختياري) — التجربة أو قاموس المعاملات الفائقة للبحث في المعاملات الفائقة. - ignore_keys_for_eval (
list[str]، اختياري) — قائمة بالمفاتيح في مخرجات النموذج الخاص بك (إذا كان قاموسًا) التي يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.
يعيد
~trainer_utils.TrainOutput
كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.
نقطة الدخول الرئيسية للتدريب.
سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().
سيتم الحفظ من العملية الرئيسية فقط.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
المعاملات
- commit_message (
str، اختياري، الافتراضي"End of training") — الرسالة التي تُرسل عند الدفع. - blocking (
bool، اختياري، الافتراضيTrue) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمالgit push. - token (
str، اختياري، القيمة الافتراضيةNone) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer. - revision (
str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”. - private (
bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هيargs.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا. - kwargs (
dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى~Trainer.create_model_card.
ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.
OnlineDPOConfig
فئة trl.experimental.online_dpo.OnlineDPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-07lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1reward_model_path: str | None = Nonemax_new_tokens: int = 64max_length: int = 512temperature: float = 0.9top_p: float = 1.0top_k: int = 0min_p: float | None = Nonerepetition_penalty: float = 1.0generation_kwargs: dict | None = Nonecache_implementation: str | None = Nonemissing_eos_penalty: float | None = Nonebeta: list[float] = <factory>loss_type: str = 'sigmoid'disable_dropout: bool = Trueuse_vllm: bool = Falsevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_gpu_memory_utilization: float | None = 0.55vllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_tensor_parallel_size: int = 1vllm_enable_sleep_mode: bool = Falseds3_gather_for_generation: bool = Truemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsereward_weights: list[float] | None = None )
المعاملات
- reward_model_path (
str، اختياري) — المسار إلى نموذج المكافأة. - max_new_tokens (
int، اختياري، القيمة الافتراضية64) — الحد الأقصى لعدد الرموز (tokens) التي سيتم توليدها لكل استكمال. - max_length (
int، اختياري، القيمة الافتراضية512) — الطول الإجمالي الأقصى للتسلسل (الموجّه + الإكمال) المستخدم لحساب احتمالات السجلات. إذا تجاوز التسلسل هذا الحد، سيتم اقتطاع الرموز من أقصى اليسار للحفاظ على أكبر قدر ممكن من الإكمال. لا يُطبَّق هذا المعامل عندما تحتوي المدخلات على صور، لأن الاقتطاع سيؤدي إلى حذف رموز الصور. - temperature (
float، اختياري، القيمة الافتراضية0.9) — درجة الحرارة للعينات. كلما زادت درجة الحرارة، زادت عشوائية المكملات. - missing_eos_penalty (
float, اختياري) — عقوبة تُطبَّق على الدرجة عندما يفشل النموذج في توليد رمز EOS. وهذا مفيد لتشجيع توليد إكمالات أقصر من الحد الأقصى للطول (max_new_tokens). يجب أن تكون العقوبة قيمة موجبة. - beta (
floatأوlist[float]، اختياري، القيمة الافتراضية0.1) — معامل يتحكم في الانحراف عن النموذج المرجعي. كلما زاد β قلّ الانحراف عن النموذج المرجعي. بالنسبة لخسارة IPO (loss_type="ipo")، يكون β هو معامل التنظيم المُشار إليه بـ τ في الورقة البحثية. إذا تم تقديم قائمة من الأرقام العشرية، يتم اختيار β لكل حقبة جديدة، ويُستخدم آخر β لبقية الحقب. - loss_type (
str, اختياري, الافتراضي هو"sigmoid") — نوع الدالة الخاسرة (loss) المستخدمة. القيم الممكنة هي: - disable_dropout (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم تعطيل إسقاط العينة (dropout) في النموذج ونموذج المرجع.
المعاملات التي تتحكم في التوليد
- top_p (
float، اختياري، القيمة الافتراضية1.0) — قيمة عشرية تتحكم في الاحتمال التراكمي لأعلى الرموز المراد أخذها في الاعتبار. يجب أن تكون ضمن المجال (0، 1]. اضبطها على1.0لاعتبار جميع الرموز. - top_k (
int، اختياري، القيمة الافتراضية0) — عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها لتصفية top-k. إذا كانت القيمة0، يتم تعطيل تصفية top-k وتُعتبر جميع الرموز. - min_p (
float, اختياري) — أدنى احتمال للرمز، والذي يُضرب في احتمال الرمز الأكثر احتمالاً. يجب أن يكون قيمة بين0.0و1.0. القيم النموذجية تقع في نطاق0.01-0.2. - repetition_penalty (
float، اختياري، القيمة الافتراضية1.0) — قيمة عشرية تعاقب الرموز الجديدة بناءً على ما إذا كانت تظهر في الاستعلام والنص المولَّد حتى الآن. القيم >1.0تشجع النموذج على استخدام رموز جديدة، بينما القيم <1.0تشجع النموذج على تكرار الرموز. - cache_implementation (
str، اختياري) — تنفيذ طريقة التخزين المؤقت لتسريع التوليد عندما يكونuse_vllmمضبوطًا علىFalse. - generation_kwargs (
dict[str, Any]، اختياري) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى GenerationConfig (في حال استخدام transformers) أوSamplingParams(في حال استخدام vLLM) عند أخذ عينات من المكملات. يمكن استخدام هذا لتخصيص سلوك التوليد بشكل أكبر، مثل تعيينsuppress_tokens،num_beams، وما إلى ذلك. إذا احتوى على مفاتيح تتعارض مع معلمات التوليد الأخرى (مثلmin_p،top_p، وما إلى ذلك)، فإنها ستُلغيها.
المعاملات التي تتحكم في تسريع التوليد المدعوم بواسطة vLLM
- use_vllm (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام vLLM لتوليد المكملات. إذا تم ضبطه علىTrue، فسيستخدم المدرب vLLM للتوليد بدلاً من model.generate() الافتراضي. يتطلب تثبيتvllm. - vllm_model_impl (
str، اختياري، القيمة الافتراضية"vllm") — تنفيذ النموذج المستخدم في vLLM. يجب أن يكون أحد"transformers"أو"vllm"."transformers": استخدم واجهةtransformersالخلفية لتنفيذ النموذج."vllm": استخدم مكتبةvllmلتنفيذ النموذج. - vllm_mode (
str, اختياري, الافتراضي هو"colocate") — الوضع المستخدم لتكامل vLLM عندماuse_vllmيُضبط علىTrue. يجب أن يكون أحد"server"أو"colocate"."server": سيقوم المدرب بإرسال طلبات التوليد إلى خادم vLLM منفصل. تأكد من أن خادم vLLM قيد التشغيل (ابدأ باستخدامvllm serve)."colocate": سيعمل vLLM في نفس العملية ويشارك وحدات معالجة الرسوميات المستخدمة في التدريب. هذا يتجنب الحاجة إلى خادم منفصل، لكنه قد يسبب تنافساً على الموارد مع التدريب.
- vllm_structured_outputs_regex (
str، اختياري) — نمط Regex للمخرجات المهيكلة في vLLM. إذا كانNone(الافتراضي)، يتم تعطيل المخرجات المهيكلة.
المعاملات التي تتحكم في خادم vLLM (تُستخدم فقط عندما تكون `vllm_mode` هي `"server"`)
- vllm_server_base_url (
str, اختياري) — العنوان الأساسي لخادم vLLM (مثل"http://localhost:8000"). إذا تم تقديمه، يتم تجاهلvllm_server_hostوvllm_server_port. - vllm_server_host (
str، اختياري، القيمة الافتراضية"0.0.0.0") — عنوان مضيف خادم vLLM الذي سيتم الاتصال به. يتم تجاهله إذا تم تقديمvllm_server_base_url. - vllm_server_port (
int، اختياري، القيمة الافتراضية8000) — منفذ خادم vLLM الذي يجب الاتصال به. يتم تجاهله إذا تم تقديمvllm_server_base_url. - vllm_server_timeout (
float, اختياري, القيمة الافتراضية240.0) — المدة الإجمالية للوقت المحدد بالثواني للانتظار حتى يصبح خادم vLLM قيد التشغيل. إذا لم يكن الخادم قيد التشغيل بعد انتهاء المهلة، يتم رفعConnectionError. - vllm_group_port (
int، اختياري، القيمة الافتراضية51216) — رقم المنفذ لمجموعة تحديث الأوزان. يُستخدم للتواصل مع خادم vLLM. ما لم يكن المنفذ مشغولاً، فلا حاجة لتغييره.
المعاملات التي تتحكم في تنفيذ vLLM المتزامن (تُستخدم فقط عندما يكون `vllm_mode` هو `"colocate"`)
- vllm_gpu_memory_utilization (
float, اختياري، القيمة الافتراضية0.55) — التحكم في استهلاك ذاكرة وحدة معالجة الرسوميات (GPU) في vLLM. لا تنطبق هذه الإعدادات إلا عند ضبطvllm_modeعلى"colocate". إذا كنت تستخدمvllm_mode="server"، فيجب تمرير هذا المعامل بشكل منفصل عند إطلاق خادم vLLM عبر علم--vllm_gpu_memory_utilization. - vllm_tensor_parallel_size (
int, اختياري، القيمة الافتراضية1) — التحكم في حجم التوازي للتensors في vLLM. لا تنطبق هذه الإعدادات إلا عندما تكونvllm_modeمضبوطة على"colocate". إذا كنت تستخدمvllm_mode="server"، فيجب تمرير هذا المعامل بشكل منفصل عند إطلاق خادم vLLM عبر علم--vllm_tensor_parallel_size. - vllm_enable_sleep_mode (
bool، اختياري، القيمة الافتراضيةFalse) — تفعيل وضع السكون في vLLM لتفريغ الأوزان/الذاكرة المؤقتة أثناء خطوة المُحسِّن. يُبقي استخدام ذاكرة وحدة معالجة الرسوميات منخفضًا، لكن استيقاظ المحرّك يضيف زمن انتقال بين المضيف والوحدة.
معلمات أخرى
- ds3_gather_for_generation (
bool، اختياري، القيمة الافتراضيةTrue) — تنطبق هذه الإعدادات على DeepSpeed ZeRO-3. إذا تم تفعيلها، يتم تجميع أوزان نموذج السياسة للتوليد، مما يحسّن سرعة التوليد. ومع ذلك، فإن تعطيل هذا الخيار يتيح تدريب نماذج تتجاوز سعة ذاكرة VRAM لبطاقة رسومات واحدة، على الرغم من أن ذلك يأتي على حساب بطء التوليد. لا يتوافق تعطيل هذا الخيار مع توليد vLLM. - model_init_kwargs (
dict[str, Any]، اختياري) — حجج الكلمات المفتاحية التي يتم تمريرها إلىAutoModelForCausalLM.from_pretrainedعند إنشاء النموذج من نص. تُستخدم قيمةrevisionأيضًا عند تحميل فئات معالجة المكافآت. - trust_remote_code (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم السماح بتحميل النماذج التي تتضمن كود Python مخصصًا من Hub. يتم تمرير هذا الإعداد إلى from_pretrained. كما يُطبَّق على عمليات تحميل نموذج المكافأة ومُرمِّز المكافأة. - reward_weights (
list[float], اختياري) — أوزان لدمج دوال المكافأة المتعددة. يجب أن تتطابق مع عدد دوال المكافأة. إذا كانتNone، فجميع دوال المكافأة لها أوزان متساوية.
فئة التهيئة الخاصة بـ experimental.online_dpo.OnlineDPOTrainer.
تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب Online DPO. للحصول على قائمة كاملة بحجج التدريب، يُرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments.
باستخدام HfArgumentParser يمكننا تحويل هذه الفئة إلى حُجج argparse يمكن تحديدها على سطر الأوامر.
تتميز هذه المعلمات بقيم افتراضية مختلفة عن TrainingArguments:
logging_steps: القيمة الافتراضية هي10بدلاً من500.gradient_checkpointing: القيمة الافتراضية هيTrueبدلاً منFalse.bf16: القيمة الافتراضية هيTrueإذا لم يتم تعيينfp16، بدلاً منFalse.learning_rate: القيمة الافتراضية هي5e-7بدلاً من5e-5.remove_unused_columns: القيمة الافتراضية هيFalseبدلاً منTrue.