# مدرب DPO عبر الإنترنت

[![model badge](https://img.shields.io/badge/All_models-Online_DPO-blue)](https://huggingface.co/models?other=online-dpo,trl)

## نظرة عامة

قُدم DPO عبر الإنترنت في [Direct Language Model Alignment from Online AI Feedback](https://huggingface.co/papers/2402.04792) من قِبل Shangmin Guo وBiao Zhang وTianlin Liu وTianqi Liu وMisha Khalman وFelipe Llinares وAlexandre Rame وThomas Mesnard وYao Zhao وBilal Piot وJohan Ferret وMathieu Blondel.

المستخلص من الورقة البحثية هو كالتالي:

> طرق المحاذاة المباشرة من التفضيلات (DAP)، مثل DPO، ظهرت مؤخرًا كبديل فعّال لتعلم المعزز من تغذية راجعة بشرية (RLHF)، إذ لا تتطلب نموذج مكافأة منفصلًا. ومع ذلك، فإن مجموعات بيانات التفضيلات المستخدمة في طرق DAP تُجمع عادةً قبل التدريب ولا تُحدَّث أبدًا، وبالتالي تكون التغذية الراجعة غير متصلة تمامًا. علاوة على ذلك، غالبًا ما تكون الاستجابات في هذه المجموعات مُستخرجة من نموذج لغة مختلف عن النموذج الذي يجري محاذاته، وبما أن النموذج يتطور خلال التدريب، فإن مرحلة المحاذاة تكون حتمًا خارج السياسة. في هذه الدراسة، نفترض أن التغذية الراجعة المتصلة هي المفتاح وتحسّن طرق DAP. يستخدم منهجنا، التغذية الراجعة الاصطناعية المتصلة (OAIF)، نموذج لغة كمُعلِّم: في كل تكرار تدريب، نستخرج استجابتين من النموذج الحالي ونطلب من نموذج اللغة المُعلِّم اختيار أيهما مفضّل، مما يوفر تغذية راجعة متصلة. وعلى الرغم من بساطته، نُثبت عبر التقييم البشري في مهام متعددة أن OAIF يتفوق على كل من طرق DAP غير المتصلة وطرق RLHF. كما نُظهر أن التغذية الراجعة المستغلة في OAIF قابلة للتحكم بسهولة، من خلال أوامر تعليمية موجّهة إلى نموذج اللغة المُعلِّم.

تمت مساهمة طريقة ما بعد التدريب هذه من قِبل [Michael Noukhovitch](https://huggingface.co/mnoukhov) و[Shengyi Costa Huang](https://huggingface.co/vwxyzjn) و[Quentin Gallouédec](https://huggingface.co/qgallouedec) و[Edward Beeching](https://huggingface.co/edbeeching).

## البدء السريع

يُظهر هذا المثال كيفية تدريب نموذج باستخدام طريقة DPO عبر الإنترنت. نستخدم نموذج [Qwen 0.5B](https://huggingface.co/Qwen/Qwen2-0.5B-Instruct) كنموذج أساسي ونموذج المكافأة [trl-lib/Qwen2-0.5B-Reward](https://huggingface.co/trl-lib/Qwen2-0.5B-Reward). نستخدم الأوامر من مجموعة بيانات [UltraFeedback](https://huggingface.co/datasets/openbmb/UltraFeedback). يمكنك الاطلاع على الأوامر في مجموعة البيانات هنا:

<iframe src="https://huggingface.co/datasets/trl-lib/ultrafeedback-prompt/embed/viewer/default/train?row=0" frameborder="0" width="100%" height="560px"
>

فيما يلي السكربت لتدريب النموذج:

```python
# train_online_dpo.py
from datasets import load_dataset
from trl.experimental.online_dpo import OnlineDPOConfig, OnlineDPOTrainer
from transformers import AutoModelForCausalLM, AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
reward_model = AutoModelForSequenceClassification.from_pretrained("trl-lib/Qwen2-0.5B-Reward", num_labels=1)
train_dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")

training_args = OnlineDPOConfig(output_dir="Qwen2-0.5B-OnlineDPO")
trainer = OnlineDPOTrainer(
    model=model, reward_funcs=reward_model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset
)
trainer.train()
```

نفّذ السكربت باستخدام الأمر التالي:

```bash
torchrun --nproc_per_node 8 train_online_dpo.py
```

عند التوزيع على 8 وحدات معالجة رسومية (GPU)، يستغرق التدريب حوالي ساعة واحدة. يمكنك التحقق من تقدم التدريب عن طريق فحص مخطط المكافأة. يشير الاتجاه التصاعدي في كل من مكافأة الإكمالات المرفوضة والمختارة إلى أن النموذج يتحسن ويولّد استجابات أفضل مع مرور الوقت.

![](https://huggingface.co/datasets/trl-lib/documentation-images/resolve/main/online-dpo-qwen2.png)

لرؤية أداء [النموذج المدرَّب](https://huggingface.co/trl-lib/Qwen2-0.5B-OnlineDPO)، يمكنك استخدام [Transformers Chat CLI](https://huggingface.co/docs/transformers/quicktour#chat-with-text-generation-models).

$ transformers chat trl-lib/Qwen2-0.5B-OnlineDPO &lt;quentin_gallouedec&gt;: ما هي أفضل لغة برمجة؟

&lt;trl-lib/Qwen2-0.5B-OnlineDPO&gt;: تعتمد أفضل لغة برمجة على احتياجاتك وأولوياتك المحددة. يفضل بعض الأشخاص لغات البرمجة الإمبراطورية (مثل Haskell أو Lisp)، بينما يفضل آخرون لغات البرمجة الوظيفية (مثل Scala أو Python). من المهم مراعاة أسلوب عملك، وبيئة البرمجة، ومتطلبات المشروع عند اختيار لغة البرمجة.

## نوع مجموعة البيانات المتوقع

يتطلب DPO عبر الإنترنت مجموعة بيانات [تتضمن المحفّز فقط](dataset_formats#prompt-only) (على عكس DPO غير المتصل، الذي يتوقع [مجموعة بيانات تفضيلات](dataset_formats#preference)). يدعم [experimental.online_dpo.OnlineDPOTrainer](/docs/trl/v1.18.1/ar/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOTrainer) كلا من صيغ مجموعات البيانات [المحادثية](dataset_formats#conversational) و[المعيارية](dataset_formats#standard). عند تزويده بمجموعة بيانات محادثية، سيطبّق المدرب قالب المحادثة على مجموعة البيانات تلقائيًا.

## نصائح للاستخدام

### تشجيع توليد رمز EOS

عند استخدام نموذج مكافأة، قد نرغب في أن يولّد النموذج إكمالات ضمن طول محدد. أثناء التدريب، سيولّد النموذج إكمالات حتى الطول الأقصى المحدد في الحجة `max_new_tokens` الخاصة بـ [experimental.online_dpo.OnlineDPOConfig](/docs/trl/v1.18.1/ar/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOConfig). إذا كنت ترغب في معاقبة النموذج لعدم توليد رمز EOS قبل الوصول إلى الطول الأقصى، يمكنك استخدام الحجة `missing_eos_penalty` الخاصة بـ [experimental.online_dpo.OnlineDPOConfig](/docs/trl/v1.18.1/ar/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOConfig):

```python
training_args = OnlineDPOConfig(..., max_new_tokens=128, missing_eos_penalty=1.0)
```

### تسجيل المكملات

لفهم سلوك نموذجك بشكل أفضل أثناء التدريب، يمكنك تسجيل اكتمالات العينات بشكل دوري باستخدام [LogCompletionsCallback](/docs/trl/v1.18.1/ar/callbacks#trl.LogCompletionsCallback).

```python
trainer = OnlineDPOTrainer(..., eval_dataset=eval_dataset)
completions_callback = LogCompletionsCallback(trainer, num_prompts=8)
trainer.add_callback(completions_callback)
```

يسجّل هذا المستدعي المكتملات التي يولّدها النموذج مباشرةً في Weights & Biases.

![Logged Completions](https://huggingface.co/datasets/trl-lib/documentation-images/resolve/main/wandb_completions.png)

## المقاييس المسجّلة

أثناء التدريب والتقييم، نسجّل المقاييس التالية. وفيما يلي مثال على [تشغيل مُتتبَّع في Weights and Biases](https://wandb.ai/huggingface/trl/runs/w4apmsi9)

* `objective/kl`: متوسط تباعد كولباك-ليبلر (KL) بين النموذج الحالي ونموذج المرجع.
* `objective/entropy`: متوسط إنتروبيا النموذج، مما يدل على عشوائية الإجراءات التي يختارها النموذج.
* `objective/non_score_reward`: متوسط المكافأة من المصادر غير المرتبطة بالدرجة، وهو في الأساس `beta * kl.sum(1)`، حيث `beta` هو معامل عقوبة KL و`kl` هو تباعد KL لكل رمز.
* `objective/rlhf_reward`: متوسط مكافأة RLHF، وهو `scores - non_score_reward`. تُعدّ `rlhf_reward` الهدف النهائي لتدريب DPO عبر الإنترنت. إذا كان التدريب يعمل كما هو مقصود، فيجب أن يستمر هذا المقياس في الارتفاع.
* `objective/scores`: متوسط الدرجات التي يعيدها نموذج المكافأة.
* `objective/scores_margin`: متوسط هامش النقاط (وفقًا لنموذج المكافأة الخارجي) بين الإكمالات المختارة والمرفوضة.
* `rewards/chosen`: متوسط المكافأة (وفقًا لنموذج المكافأة الضمني الخاص بـ DPO عبر الإنترنت) لإكمالات الاختيار.
* `rewards/rejected`: متوسط المكافأة (وفقًا لنموذج المكافأة الضمني الخاص بـ DPO عبر الإنترنت) لإكمالات الرفض.
* `rewards/accuracies`: دقة نموذج المكافأة الضمني الخاص بـ DPO المباشر.
* `rewards/margins`: متوسط هامش المكافأة (وفقًا لنموذج المكافأة الضمني الخاص بـ DPO عبر الإنترنت) بين الإكمالين المختار والمرفوض.
* `logps/chosen`: متوسط احتمالات السجل (log probabilities) للإكمالات المختارة.
* `logps/rejected`: متوسط احتمالات السجل (log probabilities) للإكمالات المرفوضة.
* `val/contain_eos_token`: نسبة المكملات التي تحتوي على رمز EOS.
* `beta`: المعامل الذي يتحكم في وزن حد الخسارة الذي يمثل الانحراف عن النموذج المرجعي. عادةً ما يكون ثابتًا، لكن يمكن جعله ديناميكيًا عن طريق تمرير قائمة إلى [experimental.online_dpo.OnlineDPOConfig](/docs/trl/v1.18.1/ar/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOConfig).

## تجارب المعايير

للتحقق من أن تطبيق DPO عبر الإنترنت يعمل بشكل صحيح، أجرينا تجارب باستخدام نماذج Pythia بحجم 1B و2.8B و6.9B على عقدة واحدة مجهزة بـ 8 وحدات H100. فيما يلي الأوامر التي استخدمناها لتشغيل التجارب، مع استخدام سكربت مثال DPO عبر الإنترنت كما كان موجودًا في ذلك الوقت ([`examples/scripts/online_dpo.py`](https://github.com/huggingface/trl/blob/v1.10.0/examples/scripts/online_dpo.py)، وقد تم حذفه لاحقًا) — لإعادة إنتاج النتائج، قم بالتنفيذ من نسخة checkout للإصدار v1.10.0 (`git checkout v1.10.0`). نأخذ نماذج SFT / RM مباشرة من [The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization](https://huggingface.co/papers/2403.17031).

```shell
# 1B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-1b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-1b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-1b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

# 2.8B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-2.8b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-2.8b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-2.8b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

# 6.9B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-6.9b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-6.9b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-6.9b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub
```

يتم تتبع التجربة في هذا [تقرير W&B 🐝](https://wandb.ai/huggingface/trl/reports/Online-DPO-experiments-for-TL-DR-summarisation--Vmlldzo5MTczMDU0).

يزداد معدل الفوز لنقطة التفتيش الخاصة بـ DPO عبر الإنترنت بشكل متزايد كلما قمنا بزيادة أحجام النماذج. وهذا مؤشر جيد على أن تطبيق DPO عبر الإنترنت يعمل كما هو مقصود.

## OnlineDPOTrainer[[trl.experimental.online_dpo.OnlineDPOTrainer]]

#### trl.experimental.online_dpo.OnlineDPOTrainer[[trl.experimental.online_dpo.OnlineDPOTrainer]]

```python
trl.experimental.online_dpo.OnlineDPOTrainer(model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str], ref_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, NoneType] = None, reward_funcs: str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]] | list[str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]]] | None = None, args: trl.experimental.online_dpo.online_dpo_config.OnlineDPOConfig | None = None, data_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = None, train_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, NoneType] = None, eval_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, dict[str, typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset]], NoneType] = None, processing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = None, reward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = None, peft_config: PeftConfig | None = None, compute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = None, callbacks: list[transformers.trainer_callback.TrainerCallback] | None = None, optimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None), preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/trl/experimental/online_dpo/online_dpo_trainer.py#L94)

**المعاملات:**

model (`str | nn.Module | PreTrainedModel`) : النموذج المراد تدريبه. يمكن أن يكون: - نصًا، وهو *معرف النموذج* لنموذج مُدرَّب مسبقًا مستضاف داخل مستودع نماذج على huggingface.co، أو مسارًا إلى *مجلد* يحتوي على أوزان النموذج المحفوظة باستخدام [save_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel.save_pretrained)، مثل `'./my_model_directory/'`. يتم تحميل النموذج باستخدام [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained) مع الحُجج ذات الكلمات المفتاحية الموجودة في `args.model_init_kwargs`. - كائن [PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel). يتم دعم نماذج اللغة السببية فقط.

ref_model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel) أو `torch.nn.Module` أو `None`) : النموذج المرجعي الذي سيتم استخدامه للتدريب. إذا تم تحديد None، فسيتم إنشاء النموذج المرجعي من النموذج.

reward_funcs (`RewardFunc | list[RewardFunc]`) : دوال المكافآت المستخدمة لحساب المكافآت. لحساب المكافآت، نستدعي جميع دوال المكافآت باستخدام الاستعلامات (prompts) والإكمالات (completions) ثم نجمع المكافآت الناتجة. يمكن أن تكون: - دالة مكافأة واحدة: يمكن أن تكون نصًا (مسارًا إلى النموذج)، أو [PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel)، أو دالة قابلة للاستدعاء مخصصة. - قائمة من دوال المكافآت: يجب أن تكون جميعها من أنواع متوافقة.

args ([experimental.online_dpo.OnlineDPOConfig](/docs/trl/v1.18.1/ar/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOConfig)) : حُجج إعدادات DPO عبر الإنترنت المستخدمة للتدريب.

data_collator (`DataCollator`) : مُجمِّع البيانات (data collator) المستخدم للتدريب. إذا لم يُحدَّد أيُّ قيمة، فسيُستخدم مُجمِّع البيانات الافتراضي (`experimental.utils.DPODataCollatorWithPadding`) الذي سيملأ التسلسلات حتى الطول الأقصى للتسلسلات في الدفعة (batch)، وذلك عند التعامل مع مجموعة بيانات من التسلسلات المزدوجة.

train_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset) أو [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset)) : مجموعة البيانات المستخدمة للتدريب.

eval_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset) أو [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset) أو `dict[str, Dataset | IterableDataset]`) : مجموعة البيانات المستخدمة للتقييم.

processing_class ([PreTrainedTokenizerBase](https://huggingface.co/docs/transformers/v5.23.0/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase) أو [ProcessorMixin](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/processors#transformers.ProcessorMixin)، *اختياري*) : فئة المعالجة المستخدمة لمعالجة البيانات. إذا تم توفيرها، فستُستخدم لمعالجة المدخلات الخاصة بالنموذج تلقائيًا، وستُحفظ مع النموذج لتسهيل إعادة تشغيل التدريب المقطوع أو إعادة استخدام النموذج المُحسَّن.

reward_processing_classes ([PreTrainedTokenizerBase](https://huggingface.co/docs/transformers/v5.23.0/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase) أو `list[PreTrainedTokenizerBase]`، *اختياري*) : فئات المعالجة المقابلة لدوال المكافأة المحددة في `reward_funcs`. يمكن أن تكون: - فئة معالجة واحدة: تُستخدم عندما تحتوي `reward_funcs` على دالة مكافأة واحدة فقط. - قائمة بفئات المعالجة: يجب أن تتطابق مع ترتيب وطول دوال المكافأة في `reward_funcs`. إذا تم تعيينها إلى `None`، يتم تحميل المرمّز لكل دالة مكافأة مبنية على نموذج تلقائيًا باستخدام [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoTokenizer.from_pretrained).

peft_config (`PeftConfig`، *اختياري*) : إعدادات PEFT المستخدمة لتغليف النموذج. إذا كانت `None`، فلن يتم تغليف النموذج.

compute_metrics (`Callable[[EvalPrediction], dict]`، *اختياري*) : الدالة المستخدمة لحساب المقاييس. يجب أن تستقبل `EvalPrediction` وتعيد قاموسًا من السلاسل النصية إلى قيم المقاييس.

callbacks (`list[transformers.TrainerCallback]`) : المراجعات (callbacks) المستخدمة للتدريب.

optimizers (`tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]`) : المُحسِّن والمُجدوِل اللذان سيتم استخدامهما للتدريب.

preprocess_logits_for_metrics (`Callable[[torch.Tensor, torch.Tensor], torch.Tensor]`) : الدالة المستخدمة لمعالجة القيم الأولية (logits) مسبقًا قبل حساب المقاييس.

قم بتهيئة OnlineDPOTrainer.

#### train[[trl.experimental.online_dpo.OnlineDPOTrainer.train]]

```python
train(resume_from_checkpoint: str | bool | None = None, trial: optuna.Trial | dict[str, Any] | None = None, ignore_keys_for_eval: list[str] | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/transformers/trainer.py#L1450)

**المعاملات:**

resume_from_checkpoint (`str` أو `bool`، *اختياري*) : إذا كان `str`، فهو المسار المحلي لنقطة تحقق محفوظة بواسطة نسخة سابقة من `Trainer`. إذا كان `bool` ويساوي `True`، يتم تحميل آخر نقطة تحقق في *args.output_dir* كما حفظتها نسخة سابقة من `Trainer`. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا.

trial (`optuna.Trial` أو `dict[str, Any]`، *اختياري*) : الجولة التجريبية أو قاموس معاملات الضبط للبحث في معاملات الضبط.

ignore_keys_for_eval (`list[str]`، *اختياري*) : قائمة بمفاتيح في مخرجات نموذجك (إذا كان قاموسًا) يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.

**يعيد:** `~trainer_utils.TrainOutput`

كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.

نقطة الدخول الرئيسية للتدريب.

#### save_model[[trl.experimental.online_dpo.OnlineDPOTrainer.save_model]]

```python
save_model(output_dir: str | None = None, _internal_call: bool = False)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/transformers/trainer.py#L4077)

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام `from_pretrained()`.

سيتم الحفظ من العملية الرئيسية فقط.

#### push_to_hub[[trl.experimental.online_dpo.OnlineDPOTrainer.push_to_hub]]

```python
push_to_hub(commit_message: str | None = 'End of training', blocking: bool = True, token: str | None = None, revision: str | None = None, private: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/transformers/trainer.py#L4337)

**المعاملات:**

commit_message (`str`، *اختياري*، القيمة الافتراضية `"End of training"`) : الرسالة التي سيتم الالتزام بها أثناء الدفع.

blocking (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان ينبغي للوظيفة أن تُرجع القيمة فقط بعد اكتمال `git push`.

token (`str`، *اختياري*، القيمة الافتراضية `None`) : رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.

revision (`str`، *اختياري*) : المراجعة (revision) في git التي سيتم الالتزام منها. الافتراضي هو رأس فرع "main".

private (`bool`, *اختياري*) : ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي `args.hub_private_repo`. لا يؤثر هذا الإعداد إذا كان المستودع موجودًا مسبقًا.

kwargs (`dict[str, Any]`، *اختياري*) : حُجج إضافية تُمرَّر إلى `~Trainer.create_model_card`.

**يعيد:**

عنوان URL للمستودع الذي تم دفع النموذج إليه إذا كان `blocking=False`، أو كائن `Future` يتتبع تقدم عملية الالتزام إذا كان `blocking=True`.

ارفع `self.model` و`self.processing_class` إلى مركز النماذج 🤗 في المستودع `self.args.hub_model_id`.

## OnlineDPOConfig[[trl.experimental.online_dpo.OnlineDPOConfig]]

#### trl.experimental.online_dpo.OnlineDPOConfig[[trl.experimental.online_dpo.OnlineDPOConfig]]

```python
trl.experimental.online_dpo.OnlineDPOConfig(output_dir: str | None = None, per_device_train_batch_size: int = 8, num_train_epochs: float = 3.0, max_steps: int = -1, learning_rate: float = 5e-07, lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear', lr_scheduler_kwargs: dict | str | None = None, warmup_steps: float = 0, optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused', optim_args: str | None = None, weight_decay: float = 0.0, adam_beta1: float = 0.9, adam_beta2: float = 0.999, adam_epsilon: float = 1e-08, optim_target_modules: None | str | list[str] = None, gradient_accumulation_steps: int = 1, average_tokens_across_devices: bool = True, max_grad_norm: float = 1.0, label_smoothing_factor: float = 0.0, bf16: bool | None = None, fp16: bool = False, bf16_full_eval: bool = False, fp16_full_eval: bool = False, tf32: bool | None = None, activation_checkpointing: bool | None = None, activation_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, gradient_checkpointing: bool | None = None, gradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, torch_compile: bool = False, torch_compile_backend: str | None = None, torch_compile_mode: str | None = None, use_liger_kernel: bool = False, liger_kernel_config: dict[str, bool] | None = None, use_cache: bool = False, neftune_noise_alpha: float | None = None, torch_empty_cache_steps: int | None = None, auto_find_batch_size: bool = False, logging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps', logging_steps: float = 10, logging_first_step: bool = False, log_on_each_node: bool = True, logging_nan_inf_filter: bool = True, include_num_input_tokens_seen: str | bool = 'no', log_level: str = 'passive', log_level_replica: str = 'warning', disable_tqdm: bool | None = None, report_to: None | str | list[str] = 'none', run_name: str | None = None, project: str = 'huggingface', trackio_space_id: str | None = None, trackio_bucket_id: str | None = None, trackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = None, eval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no', eval_steps: float | None = None, eval_delay: float = 0, per_device_eval_batch_size: int = 8, prediction_loss_only: bool = False, eval_on_start: bool = False, eval_do_concat_batches: bool = True, eval_use_gather_object: bool = False, eval_accumulation_steps: int | None = None, include_for_metrics: list[str] = <factory>, batch_eval_metrics: bool = False, save_only_model: bool = False, save_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps', save_steps: float = 500, save_on_each_node: bool = False, save_total_limit: int | None = None, enable_jit_checkpoint: bool = False, push_to_hub: bool = False, hub_token: str | None = None, hub_private_repo: bool | None = None, hub_model_id: str | None = None, hub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save', hub_always_push: bool = False, hub_revision: str | None = None, load_best_model_at_end: bool = False, metric_for_best_model: str | None = None, greater_is_better: bool | None = None, ignore_data_skip: bool = False, restore_callback_states_from_checkpoint: bool = False, full_determinism: bool = False, seed: int = 42, data_seed: int | None = None, use_cpu: bool = False, accelerator_config: dict | str | None = None, parallelism_config: accelerate.parallelism_config.ParallelismConfig | None = None, dataloader_drop_last: bool = False, dataloader_num_workers: int = 0, dataloader_pin_memory: bool = True, dataloader_persistent_workers: bool = False, dataloader_prefetch_factor: int | None = None, dataloader_multiprocessing_context: str | None = None, dataloader_in_order: bool = True, remove_unused_columns: bool = False, label_names: list[str] | None = None, train_sampling_strategy: str = 'random', length_column_name: str = 'length', ddp_find_unused_parameters: bool | None = None, ddp_bucket_cap_mb: int | None = None, ddp_broadcast_buffers: bool | None = None, ddp_static_graph: bool | None = None, ddp_backend: str | None = None, ddp_timeout: int = 1800, fsdp: str | None = None, fsdp_config: dict[str, typing.Any] | str | None = None, deepspeed: dict | str | None = None, debug: str | list[transformers.debug_utils.DebugOption] = '', skip_memory_metrics: bool = True, do_train: bool = False, do_eval: bool = False, do_predict: bool = False, resume_from_checkpoint: str | None = None, local_rank: int = -1, reward_model_path: str | None = None, max_new_tokens: int = 64, max_length: int = 512, temperature: float = 0.9, top_p: float = 1.0, top_k: int = 0, min_p: float | None = None, repetition_penalty: float = 1.0, generation_kwargs: dict | None = None, cache_implementation: str | None = None, missing_eos_penalty: float | None = None, beta: list[float] = <factory>, loss_type: str = 'sigmoid', disable_dropout: bool = True, use_vllm: bool = False, vllm_model_impl: str = 'vllm', vllm_structured_outputs_regex: str | None = None, vllm_gpu_memory_utilization: float | None = 0.55, vllm_mode: str = 'colocate', vllm_server_base_url: str | None = None, vllm_server_host: str = '0.0.0.0', vllm_server_port: int = 8000, vllm_server_timeout: float = 240.0, vllm_group_port: int = 51216, vllm_tensor_parallel_size: int = 1, vllm_enable_sleep_mode: bool = False, ds3_gather_for_generation: bool = True, model_init_kwargs: dict[str, typing.Any] | str | None = None, trust_remote_code: bool = False, reward_weights: list[float] | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.1/trl/experimental/online_dpo/online_dpo_config.py#L23)

**المعاملات:**

reward_model_path (`str`، *اختياري*) : المسار إلى نموذج المكافأة.

max_new_tokens (`int`، *اختياري*، القيمة الافتراضية `64`) : الحد الأقصى لعدد الرموز (tokens) التي سيتم توليدها لكل استكمال.

max_length (`int`، *اختياري*، القيمة الافتراضية `512`) : الحد الأقصى للطول الإجمالي للتسلسل (الموجّه + الإكمال) المستخدم لحساب احتمالات السجلات. إذا تجاوز التسلسل هذا الحد، سيتم اقتطاع الرموز الواقعة على أقصى اليسار للحفاظ على أكبر قدر ممكن من الإكمال. لا يُطبَّق هذا الشرط عندما تحتوي المدخلات على صور، لأن الاقتطاع سيؤدي إلى حذف رموز الصور.

temperature (`float`، *اختياري*، القيمة الافتراضية `0.9`) : درجة الحرارة للعينات. كلما زادت درجة الحرارة، زادت عشوائية المكملات.

missing_eos_penalty (`float`، *اختياري*) : العقوبة المطبقة على الدرجة عندما يفشل النموذج في توليد رمز EOS. هذا مفيد لتشجيع توليد إكمالات أقصر من الحد الأقصى للطول (`max_new_tokens`). يجب أن تكون العقوبة قيمة موجبة.

beta (`float` أو `list[float]`، *اختياري*، القيمة الافتراضية `0.1`) : معامل يتحكم في مقدار الانحراف عن النموذج المرجعي. كلما زاد β قلّ الانحراف عن النموذج المرجعي. فيما يتعلق بخسارة IPO (`loss_type="ipo"`)، يكون β هو معامل التنظيم المُشار إليه بـ τ في [الورقة البحثية](https://huggingface.co/papers/2310.12036). إذا تم تقديم قائمة من الأرقام العشرية، يتم اختيار β لكل حقبة جديدة، ويُستخدم آخر β لبقية الحقب.

loss_type (`str`، *اختياري*، القيمة الافتراضية `"sigmoid"`) : نوع الدالة الخاسرة (loss) المستخدمة. القيم الممكنة هي: - `"sigmoid"`: دالة الخسارة sigmoid من ورقة [DPO](https://huggingface.co/papers/2305.18290) الأصلية. - `"ipo"`: دالة الخسارة IPO من ورقة [IPO](https://huggingface.co/papers/2310.12036).

disable_dropout (`bool`، *اختياري*، الافتراضي `True`) : ما إذا كان سيتم تعطيل إسقاط البيانات (dropout) في النموذج ونموذج المرجع.

**المعاملات التي تتحكم في التوليد:**

top_p (`float`، *اختياري*، القيمة الافتراضية `1.0`) : قيمة عشرية تتحكم في الاحتمال التراكمي لأعلى الرموز المراد أخذها في الاعتبار. يجب أن تكون ضمن المجال (0، 1]. اضبطها على `1.0` لاعتبار جميع الرموز.

top_k (`int`، *اختياري*، القيمة الافتراضية `0`) : عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها لتصفية top-k. إذا كانت القيمة `0`، يتم تعطيل تصفية top-k وتُعتبر جميع الرموز.

min_p (`float`، *اختياري*) : الحد الأدنى لاحتمالية الرمز، والذي يتم تحديده بالنسبة لاحتمالية الرمز الأكثر احتمالاً. يجب أن يكون قيمة بين `0.0` و`1.0`. القيم النموذجية تقع ضمن نطاق `0.01-0.2`.

repetition_penalty (`float`، *اختياري*، القيمة الافتراضية `1.0`) : قيمة عشرية تعاقب الرموز الجديدة بناءً على ما إذا كانت تظهر في الاستعلام والنص المولَّد حتى الآن. القيم الأكبر من `1.0` تشجع النموذج على استخدام رموز جديدة، بينما القيم الأصغر من `1.0` تشجع النموذج على تكرار الرموز.

cache_implementation (`str`, *اختياري*) : تنفيذ طريقة التخزين المؤقت لتسريع عملية التوليد عندما يكون `use_vllm` مضبوطًا على `False`.

generation_kwargs (`dict[str, Any]`، *اختياري*) : حُجج إضافية بالكلمات المفتاحية تُمرَّر إلى [GenerationConfig](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/text_generation#transformers.GenerationConfig) (عند استخدام transformers) أو `SamplingParams` (عند استخدام vLLM) عند أخذ عينات من الاكتمالات. يمكن استخدام هذا لتخصيص سلوك التوليد بشكل أكبر، مثل تعيين `suppress_tokens`، `num_beams`، وما إلى ذلك. إذا احتوى على مفاتيح تتعارض مع معاملات التوليد الأخرى (مثل `min_p`، `top_p`، وما إلى ذلك)، فستتجاوز تلك المعاملات.

**المعاملات التي تتحكم في تسريع التوليد المدعوم بواسطة vLLM:**

use_vllm (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم استخدام vLLM لتوليد الإكمالات. إذا تم ضبطه على `True`، فسيستخدم المدرب vLLM للتوليد بدلاً من model.generate() الافتراضي. يتطلب تثبيت `vllm`.

vllm_model_impl (`str`، *اختياري*، القيمة الافتراضية `"vllm"`) : تنفيذ النموذج الذي سيتم استخدامه في vLLM. يجب أن يكون أحد `"transformers"` أو `"vllm"`. `"transformers"`: استخدم واجهة `transformers` لتنفيذ النموذج. `"vllm"`: استخدم مكتبة `vllm` لتنفيذ النموذج.

vllm_mode (`str`، *اختياري*، القيمة الافتراضية `"colocate"`) : الوضع المستخدم لتكامل vLLM عند ضبط `use_vllm` على `True`. يجب أن يكون أحد `"server"` أو `"colocate"`. - `"server"`: سيقوم المدرب بإرسال طلبات التوليد إلى خادم vLLM منفصل. تأكد من أن خادم vLLM قيد التشغيل (ابدأه باستخدام `vllm serve`). - `"colocate"`: سيعمل vLLM في نفس العملية ويشارك وحدات معالجة الرسوميات (GPUs) الخاصة بالتدريب. هذا يتجنب الحاجة إلى خادم منفصل لكنه قد يسبب تنافساً على الموارد مع التدريب.

vllm_structured_outputs_regex (`str`، *اختياري*) : تعبير نمطي (Regex) للمخرجات المهيكلة في vLLM. إذا كان `None` (الافتراضي)، فإن المخرجات المهيكلة معطّلة.

**المعاملات التي تتحكم في خادم vLLM (تُستخدم فقط عندما يكون `vllm_mode` هو `"server"`):**

vllm_server_base_url (`str`, *اختياري*) : عنوان URL الأساسي لخادم vLLM (على سبيل المثال، `"http://localhost:8000"`). إذا تم تقديمه، يتم تجاهل `vllm_server_host` و`vllm_server_port`.

vllm_server_host (`str`، *اختياري*، القيمة الافتراضية `"0.0.0.0"`) : مضيف خادم vLLM الذي سيتم الاتصال به. يتم تجاهله إذا تم تقديم `vllm_server_base_url`.

vllm_server_port (`int`، *اختياري*، القيمة الافتراضية `8000`) : منفذ خادم vLLM الذي يجب الاتصال به. يتم تجاهله إذا تم تقديم `vllm_server_base_url`.

vllm_server_timeout (`float`، *اختياري*، القيمة الافتراضية `240.0`) : إجمالي مدة المهلة بالثواني للانتظار حتى يصبح خادم vLLM قيد التشغيل. إذا لم يكن الخادم قيد التشغيل بعد انتهاء المهلة، يتم رفع `ConnectionError`.

vllm_group_port (`int`، *اختياري*، القيمة الافتراضية `51216`) : رقم المنفذ لمجموعة تحديث الأوزان. يُستخدم هذا للتواصل مع خادم vLLM. ما لم يكن المنفذ مشغولاً، فلا حاجة لتغييره.

**المعاملات التي تتحكم في تنفيذ vLLM المتشارك (يُستخدم فقط عندما يكون `vllm_mode` هو `"colocate"`):**

vllm_gpu_memory_utilization (`float`، *اختياري*، القيمة الافتراضية `0.55`) : يتحكم في استخدام ذاكرة وحدة معالجة الرسوميات (GPU) في vLLM. لا تنطبق هذه الإعدادات إلا عند ضبط `vllm_mode` على `"colocate"`. إذا كنت تستخدم `vllm_mode="server"`، فيجب تمرير هذا المعامل بشكل منفصل عند تشغيل خادم vLLM عبر علم `--vllm_gpu_memory_utilization`.

vllm_tensor_parallel_size (`int`، *اختياري*، القيمة الافتراضية `1`) : يتحكم في حجم التوازي للتensors في vLLM. لا تنطبق هذه الإعدادات إلا عند ضبط `vllm_mode` على `"colocate"`. إذا كنت تستخدم `vllm_mode="server"`، فيجب تمرير هذا المعامل بشكل منفصل عند تشغيل خادم vLLM عبر علم `--vllm_tensor_parallel_size`.

vllm_enable_sleep_mode (`bool`، *اختياري*، القيمة الافتراضية `False`) : تفعيل وضع السكون في vLLM لتفريغ الأوزان/الذاكرة المؤقتة أثناء خطوة المُحسِّن. يُبقي استخدام ذاكرة وحدة معالجة الرسوميات منخفضًا، لكن استيقاظ المحرّك يضيف زمن انتقال بين المضيف والوحدة.

**معلمات أخرى:**

ds3_gather_for_generation (`bool`، *اختياري*، القيمة الافتراضية `True`) : تنطبق هذه الإعدادات على DeepSpeed ZeRO-3. إذا تم تفعيلها، يتم تجميع أوزان نموذج السياسة للتوليد، مما يحسّن سرعة التوليد. ومع ذلك، فإن تعطيل هذا الخيار يتيح تدريب نماذج تتجاوز سعة ذاكرة VRAM لبطاقة رسومات واحدة، على الرغم من أن ذلك يأتي على حساب بطء التوليد. إن تعطيل هذا الخيار غير متوافق مع توليد vLLM.

model_init_kwargs (`dict[str, Any]`، *اختياري*) : حُجج الكلمات المفتاحية التي تُمرَّر إلى `AutoModelForCausalLM.from_pretrained` عند إنشاء النموذج من نص. كما تُستخدم قيمة `revision` عند تحميل فئات معالجة المكافآت.

trust_remote_code (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم السماح بتحميل النماذج التي تتضمن أكواد بايثون مخصصة من Hub. يتم تمرير هذا الإعداد إلى [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained). كما يُطبَّق على عمليات تحميل نموذج المكافأة ومُرمِّز المكافأة.

reward_weights (`list[float]`، *اختياري*) : أوزان لدمج دوال المكافأة المتعددة. يجب أن تتطابق مع عدد دوال المكافأة. إذا كانت `None`، فجميع دوال المكافأة لها أوزان متساوية.

فئة التهيئة الخاصة بـ [experimental.online_dpo.OnlineDPOTrainer](/docs/trl/v1.18.1/ar/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOTrainer).

تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب Online DPO. للحصول على قائمة كاملة بحجج التدريب، يُرجى الرجوع إلى توثيق [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments). لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments).

باستخدام [HfArgumentParser](https://huggingface.co/docs/transformers/v5.23.0/en/internal/trainer_utils#transformers.HfArgumentParser) يمكننا تحويل هذه الفئة إلى حُجج [argparse](https://docs.python.org/3/library/argparse#module-argparse) يمكن تحديدها على سطر الأوامر.

> [!NOTE]
> تتميز هذه المعلمات بقيم افتراضية مختلفة عن [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments): - `logging_steps`: القيمة الافتراضية هي `10` بدلاً من `500`. - `gradient_checkpointing`: القيمة الافتراضية هي `True` بدلاً من `False`. - `bf16`: القيمة الافتراضية هي `True` إذا لم يتم تعيين `fp16`، بدلاً من `False`. - `learning_rate`: القيمة الافتراضية هي `5e-7` بدلاً من `5e-5`. - `remove_unused_columns`: القيمة الافتراضية هي `False` بدلاً من `True`.

