# 온라인 DPO 트레이너

[![model badge](https://img.shields.io/badge/All_models-Online_DPO-blue)](https://huggingface.co/models?other=online-dpo,trl)

## 개요

Online DPO는 Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret, Mathieu Blondel이 [Direct Language Model Alignment from Online AI Feedback](https://huggingface.co/papers/2402.04792)에서 제안했습니다.

해당 논문의 초록은 다음과 같습니다:

> DPO와 같은 선호 기반 직접 정렬(Direct Alignment from Preferences, DAP) 방법은 최근, 별도의 보상 모델이 필요하지 않은 인간 피드백 기반 강화 학습(RLHF)의 효율적인 대안으로 부상했습니다. 그러나 DAP 방법에서 사용되는 선호 데이터셋은 일반적으로 학습 전에 수집되어 이후 업데이트되지 않으므로, 피드백은 순수하게 오프라인입니다. 또한, 이러한 데이터셋의 응답은 정렬 대상 모델과 다른 언어 모델에서 샘플링되는 경우가 많으며, 모델이 학습 과정에서 진화하므로 정렬 단계는 필연적으로 오프-폴리시(off-policy)가 됩니다. 본 연구에서는 온라인 피드백이 핵심이며 DAP 방법을 개선한다고 가정합니다. 제안하는 방법인 온라인 AI 피드백(Online AI Feedback, OAIF)은 LLM을 annotator로 사용합니다. 각 학습 반복(iteration)에서 현재 모델로부터 두 개의 응답을 샘플링하고, LLM annotator에게 어느 응답이 선호되는지 선택하도록 프롬프트하여 온라인 피드백을 제공합니다. 단순함에도 불구하고, 여러 작업에 대한 인간 평가를 통해 OAIF가 오프라인 DAP 방법과 RLHF 방법 모두를 능가함을 입증했습니다. 또한, LLM annotator에 대한 지시 프롬프트를 통해 OAIF에서 활용되는 피드백이 쉽게 제어 가능함을 추가로 보여줍니다.

이 포스트 트레이닝 방법은 [Michael Noukhovitch](https://huggingface.co/mnoukhov), [Shengyi Costa Huang](https://huggingface.co/vwxyzjn), [Quentin Gallouédec](https://huggingface.co/qgallouedec), [Edward Beeching](https://huggingface.co/edbeeching)에 의해 기여되었습니다.

## 빠른 시작

이 예제는 온라인 DPO 방법을 사용하여 모델을 학습하는 방법을 보여줍니다. 기본 모델로는 [Qwen 0.5B 모델](https://huggingface.co/Qwen/Qwen2-0.5B-Instruct)을, 보상 모델로는 [trl-lib/Qwen2-0.5B-Reward](https://huggingface.co/trl-lib/Qwen2-0.5B-Reward)를 사용합니다. 프롬프트는 [UltraFeedback 데이터셋](https://huggingface.co/datasets/openbmb/UltraFeedback)에서 가져옵니다. 데이터셋의 프롬프트는 여기서 확인할 수 있습니다:

<iframe src="https://huggingface.co/datasets/trl-lib/ultrafeedback-prompt/embed/viewer/default/train?row=0" frameborder="0" width="100%" height="560px"
>

아래는 모델을 학습하는 스크립트입니다:

```python
# train_online_dpo.py
from datasets import load_dataset
from trl.experimental.online_dpo import OnlineDPOConfig, OnlineDPOTrainer
from transformers import AutoModelForCausalLM, AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
reward_model = AutoModelForSequenceClassification.from_pretrained("trl-lib/Qwen2-0.5B-Reward", num_labels=1)
train_dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")

training_args = OnlineDPOConfig(output_dir="Qwen2-0.5B-OnlineDPO")
trainer = OnlineDPOTrainer(
    model=model, reward_funcs=reward_model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset
)
trainer.train()
```

다음 명령을 사용하여 스크립트를 실행합니다:

```bash
torchrun --nproc_per_node 8 train_online_dpo.py
```

8개의 GPU에 분산되어 학습하는 데 약 1시간이 소요됩니다. 보상 그래프를 확인하여 학습 진행 상황을 검증할 수 있습니다. 거부된 완료와 선택된 완료의 보상 모두에서 증가하는 추세가 보이면, 모델이 개선되고 시간이 지남에 따라 더 나은 응답을 생성하고 있음을 의미합니다.

![](https://huggingface.co/datasets/trl-lib/documentation-images/resolve/main/online-dpo-qwen2.png)

[학습된 모델](https://huggingface.co/trl-lib/Qwen2-0.5B-OnlineDPO)의 성능을 확인하려면 [Transformers Chat CLI](https://huggingface.co/docs/transformers/quicktour#chat-with-text-generation-models)를 사용할 수 있습니다.

$ transformers chat trl-lib/Qwen2-0.5B-OnlineDPO &lt;quentin_gallouedec&gt;: 가장 좋은 프로그래밍 언어는 무엇인가요?

&lt;trl-lib/Qwen2-0.5B-OnlineDPO&gt;: 가장 적합한 프로그래밍 언어는 구체적인 필요와 우선순위에 따라 달라집니다. Haskell이나 Lisp과 같은 명령형 프로그래밍 언어를 선호하는 사람이 있는 반면, Scala나 Python과 같은 함수형 프로그래밍 언어를 선호하는 사람도 있습니다. 프로그래밍 언어를 선택할 때는 작업 스타일, 프로그래밍 환경, 프로젝트 요구사항을 고려하는 것이 중요합니다.

## 기대되는 데이터셋 유형

Online DPO는 [preference dataset](dataset_formats#preference)을 요구하는 오프라인 DPO와 달리 [prompt-only dataset](dataset_formats#prompt-only)만 필요합니다. [experimental.online_dpo.OnlineDPOTrainer](/docs/trl/v1.18.0/ko/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOTrainer)는 [conversational](dataset_formats#conversational) 및 [standard](dataset_formats#standard) 데이터셋 형식을 모두 지원합니다. conversational 데이터셋이 제공되면 트레이너는 데이터셋에 채팅 템플릿을 자동으로 적용합니다.

## 사용 팁

### EOS 토큰 생성 장려

보상 모델을 사용할 때, 주어진 길이 내에서 completions을 생성하도록 모델을 설정하고 싶을 수 있습니다. 학습 중에는 [experimental.online_dpo.OnlineDPOConfig](/docs/trl/v1.18.0/ko/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOConfig)의 `max_new_tokens` 인수로 지정된 최대 길이까지 completions을 생성합니다. 최대 길이에 도달하기 전에 EOS 토큰을 생성하지 않은 경우 모델을 페널티하고 싶다면 [experimental.online_dpo.OnlineDPOConfig](/docs/trl/v1.18.0/ko/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOConfig)의 `missing_eos_penalty` 인수를 사용할 수 있습니다:

```python
training_args = OnlineDPOConfig(..., max_new_tokens=128, missing_eos_penalty=1.0)
```

### Completions 로깅

모델의 학습 중 동작을 더 잘 이해하려면 [LogCompletionsCallback](/docs/trl/v1.18.0/ko/callbacks#trl.LogCompletionsCallback)을 사용하여 샘플 완성 결과를 주기적으로 기록할 수 있습니다.

```python
trainer = OnlineDPOTrainer(..., eval_dataset=eval_dataset)
completions_callback = LogCompletionsCallback(trainer, num_prompts=8)
trainer.add_callback(completions_callback)
```

이 콜백은 모델이 생성한 완성 결과를 Weights & Biases에 직접 기록합니다.

![Logged Completions](https://huggingface.co/datasets/trl-lib/documentation-images/resolve/main/wandb_completions.png)

## 기록된 지표

학습 및 평가 중에 다음 메트릭을 기록합니다. [Weights and Biases에서 추적된 실행](https://wandb.ai/huggingface/trl/runs/w4apmsi9)의 예시는 다음과 같습니다.

* `objective/kl`: 현재 모델과 참조 모델 간의 평균 Kullback-Leibler(KL) 발산.
* `objective/entropy`: 모델의 평균 엔트로피로, 모델이 선택한 행동의 무작위성을 나타냅니다.
* `objective/non_score_reward`: 점수와 무관한 출처에서 계산된 평균 보상입니다. 기본적으로 `beta`가 KL 페널티 계수이고 `kl`이 토큰별 KL 발산인 `beta * kl.sum(1)`입니다.
* `objective/rlhf_reward`: `scores - non_score_reward`의 평균 RLHF 보상입니다. `rlhf_reward`는 온라인 DPO 학습의 궁극적인 목표입니다. 학습이 의도대로 진행되면 이 지표는 계속 상승해야 합니다.
* `objective/scores`: 보상 모델이 반환한 평균 점수.
* `objective/scores_margin`: 선택된 완료와 거부된 완료 사이의 평균 점수 마진(외부 보상 모델 기준).
* `rewards/chosen`: 선택된 완성본의 평균 보상(온라인 DPO의 암시적 보상 모델 기준).
* `rewards/rejected`: 거부된 완성본의 평균 보상(온라인 DPO의 암시적 보상 모델 기준).
* `rewards/accuracies`: 온라인 DPO의 암시적 보상 모델 정확도입니다.
* `rewards/margins`: 선택된 완료와 거부된 완료 사이의 평균 보상 마진(온라인 DPO의 암시적 보상 모델 기준).
* `logps/chosen`: 선택된 완성물의 평균 로그 확률입니다.
* `logps/rejected`: 거부된 완성물의 평균 로그 확률입니다.
* `val/contain_eos_token`: EOS 토큰을 포함하는 완성물의 비율입니다.
* `beta`: 참조 모델과의 편차를 나타내는 손실 항의 가중치를 제어하는 매개변수입니다. 일반적으로 고정되어 있지만, [experimental.online_dpo.OnlineDPOConfig](/docs/trl/v1.18.0/ko/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOConfig)에 리스트를 전달하여 동적으로 설정할 수 있습니다.

## 벤치마크 실험

온라인 DPO 구현이 정상적으로 작동하는지 검증하기 위해, 8개의 H100으로 구성된 단일 노드에서 Pythia 1B, 2.8B, 6.9B 모델로 실험을 수행했습니다. 당시 존재했던 온라인 DPO 예제 스크립트([`examples/scripts/online_dpo.py`](https://github.com/huggingface/trl/blob/v1.10.0/examples/scripts/online_dpo.py), 이후 삭제됨)를 사용하여 실험을 실행한 명령어는 다음과 같습니다. 이를 재현하려면 v1.10.0 체크아웃(`git checkout v1.10.0`)에서 실행하십시오. SFT / RM 모델은 [The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization](https://huggingface.co/papers/2403.17031)에서 직접 가져왔습니다.

```shell
# 1B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-1b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-1b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-1b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

# 2.8B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-2.8b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-2.8b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-2.8b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

# 6.9B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-6.9b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-6.9b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-6.9b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub
```

이 실험은 이 [🐝 W&B 보고서](https://wandb.ai/huggingface/trl/reports/Online-DPO-experiments-for-TL-DR-summarisation--Vmlldzo5MTczMDU0)에서 추적됩니다.

모델 크기를 늘릴수록 온라인 DPO 체크포인트의 승률이 점점 높아집니다. 이는 온라인 DPO 구현이 의도한 대로 작동하고 있음을 보여주는 좋은 신호입니다.

## OnlineDPOTrainer[[trl.experimental.online_dpo.OnlineDPOTrainer]]

#### trl.experimental.online_dpo.OnlineDPOTrainer[[trl.experimental.online_dpo.OnlineDPOTrainer]]

```python
trl.experimental.online_dpo.OnlineDPOTrainer(model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str], ref_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, NoneType] = None, reward_funcs: str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]] | list[str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]]] | None = None, args: trl.experimental.online_dpo.online_dpo_config.OnlineDPOConfig | None = None, data_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = None, train_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, NoneType] = None, eval_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, dict[str, typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset]], NoneType] = None, processing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = None, reward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = None, peft_config: PeftConfig | None = None, compute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = None, callbacks: list[transformers.trainer_callback.TrainerCallback] | None = None, optimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None), preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = None)
```

[소스](https://github.com/huggingface/trl/blob/v1.18.0/trl/experimental/online_dpo/online_dpo_trainer.py#L94)

**매개변수:**

model (`str | nn.Module | PreTrainedModel`) : 학습할 모델. 다음 중 하나여야 합니다:  - huggingface.co의 모델 저장소에 호스팅된 사전 학습 모델의 *model id*인 문자열, 또는 [save_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel.save_pretrained)를 사용하여 모델 가중치를 저장한 *directory*의 경로, 예: `'./my_model_directory/'`. 모델은 `args.model_init_kwargs`의 키워드 인수를 사용하여 [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained)로 로드됩니다. - [PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel) 객체. causal language model만 지원됩니다.

ref_model ([PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel) 또는 `torch.nn.Module` 또는 `None`) : 학습에 사용할 참조 모델입니다. None이 지정되면 모델로부터 참조 모델이 생성됩니다.

reward_funcs (`RewardFunc | list[RewardFunc]`) : 보상을 계산하는 데 사용할 보상 함수입니다. 보상을 계산하려면 프롬프트와 completions를 인수로 모든 보상 함수를 호출한 후 보상 값을 합산합니다. 다음 중 하나여야 합니다: - 단일 보상 함수: 문자열(모델 경로), [PreTrainedModel](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/model#transformers.PreTrainedModel), 또는 사용자 정의 callable 함수일 수 있습니다. - 보상 함수 목록: 모든 함수가 호환되는 유형이어야 합니다.

args ([experimental.online_dpo.OnlineDPOConfig](/docs/trl/v1.18.0/ko/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOConfig)) : 학습에 사용할 온라인 DPO 설정 인자입니다.

data_collator (`DataCollator`) : 학습에 사용할 데이터 콜레이터입니다. None이 지정된 경우, 기본 데이터 콜레이터(`experimental.utils.DPODataCollatorWithPadding`)가 사용되며, 이는 페어된 시퀀스로 구성된 데이터셋에서 배치 내 시퀀스의 최대 길이에 맞게 시퀀스를 패딩합니다.

train_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset) 또는 [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset)) : 학습에 사용할 데이터셋.

eval_dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset), [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset) 또는 `dict[str, Dataset | IterableDataset]`) : 평가에 사용할 데이터셋.

processing_class ([PreTrainedTokenizerBase](https://huggingface.co/docs/transformers/v5.23.0/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase) 또는 [ProcessorMixin](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/processors#transformers.ProcessorMixin), *선택 사항*) : 데이터를 처리하는 데 사용되는 처리 클래스. 제공되면 모델의 입력을 자동으로 처리하는 데 사용되며, 중단된 학습을 재실행하거나 파인튜닝된 모델을 재사용하기 쉽게 하도록 모델과 함께 저장됩니다.

reward_processing_classes ([PreTrainedTokenizerBase](https://huggingface.co/docs/transformers/v5.23.0/en/internal/tokenization_utils#transformers.PreTrainedTokenizerBase) 또는 `list[PreTrainedTokenizerBase]`, *optional*) : `reward_funcs`에 지정된 보상 함수에 해당하는 처리 클래스입니다. 다음 중 하나일 수 있습니다. - 단일 처리 클래스: `reward_funcs`에 보상 함수가 하나만 포함된 경우 사용됩니다. - 처리 클래스 목록: `reward_funcs`의 보상 함수 순서와 길이에 일치해야 합니다. `None`으로 설정하면, 각 모델 기반 보상 함수의 토크나이저가 [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoTokenizer.from_pretrained)를 사용하여 자동으로 로드됩니다.

peft_config (`PeftConfig`, *선택 사항*) : 모델을 래핑하는 데 사용되는 PEFT 구성입니다. `None`인 경우 모델은 래핑되지 않습니다.

compute_metrics (`Callable[[EvalPrediction], dict]`, *선택 사항*) : 메트릭을 계산하는 데 사용할 함수입니다. `EvalPrediction`를 받아 문자열에서 메트릭 값으로 이루어진 딕셔너리를 반환해야 합니다.

callbacks (`list[transformers.TrainerCallback]`) : 학습에 사용할 콜백입니다.

optimizers (`tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]`) : 학습에 사용할 옵티마이저와 스케줄러입니다.

preprocess_logits_for_metrics (`Callable[[torch.Tensor, torch.Tensor], torch.Tensor]`) : 메트릭을 계산하기 전에 logits를 전처리하는 데 사용할 함수.

OnlineDPOTrainer를 초기화합니다.

#### train[[trl.experimental.online_dpo.OnlineDPOTrainer.train]]

```python
train(resume_from_checkpoint: str | bool | None = None, trial: optuna.Trial | dict[str, Any] | None = None, ignore_keys_for_eval: list[str] | None = None)
```

[소스](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L1450)

**매개변수:**

resume_from_checkpoint (`str` 또는 `bool`, *선택 사항*) : `str`인 경우, 이전 `Trainer` 인스턴스가 저장한 체크포인트의 로컬 경로입니다. `bool`이고 `True`와 같으면, 이전 `Trainer` 인스턴스가 저장한 *args.output_dir*의 마지막 체크포인트를 로드합니다. 이 값이 존재하면, 여기서 로드된 모델/옵티마이저/스케줄러 상태로부터 학습이 재개됩니다.

trial (`optuna.Trial` 또는 `dict[str, Any]`, *선택*) : 하이퍼파라미터 탐색을 위한 트라이얼 실행 또는 하이퍼파라미터 사전.

ignore_keys_for_eval (`list[str]`, *선택 사항*) : 모델의 출력(사전에 해당하는 경우)에서 학습 중 평가 시 예측을 수집할 때 무시해야 할 키의 목록입니다.

**반환값:** `~trainer_utils.TrainOutput`

전체 스텝 수, 학습 손실, 메트릭을 포함하는 객체.

주요 학습 진입점.

#### save_model[[trl.experimental.online_dpo.OnlineDPOTrainer.save_model]]

```python
save_model(output_dir: str | None = None, _internal_call: bool = False)
```

[소스](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L4077)

모델을 저장하므로 `from_pretrained()`를 사용하여 다시 로드할 수 있습니다.

main 프로세스에서만 저장합니다.

#### push_to_hub[[trl.experimental.online_dpo.OnlineDPOTrainer.push_to_hub]]

```python
push_to_hub(commit_message: str | None = 'End of training', blocking: bool = True, token: str | None = None, revision: str | None = None, private: bool | None = None, **kwargs)
```

[소스](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L4337)

**매개변수:**

commit_message (`str`, *선택 사항*, 기본값 `"End of training"`) : push할 때 커밋할 메시지.

blocking (`bool`, *선택 사항*, 기본값 `True`) : `git push`가 완료된 후에만 함수가 반환되어야 하는지 여부.

token (`str`, *선택 사항*, 기본값 `None`) : Trainer의 원래 args를 덮어쓸 수 있는 쓰기 권한이 있는 토큰입니다.

revision (`str`, *선택 사항*) : 커밋할 git 리비전입니다. 기본값은 "main" 브랜치의 head입니다.

private (`bool`, *선택 사항*) : 저장소가 생성될 때 비공개로 만들지 여부입니다. 기본값은 `args.hub_private_repo`입니다. 저장소가 이미 존재하는 경우 효과가 없습니다.

kwargs (`dict[str, Any]`, *선택*) : `~Trainer.create_model_card`에 함께 전달되는 추가 키워드 인자입니다.

**반환값:**

`blocking=False`인 경우 모델이 push된 저장소의 URL 또는 `blocking=True`인 경우 커밋 진행 상황을 추적하는 `Future` 객체를 반환합니다.

`self.args.hub_model_id` 저장소에 `self.model`과 `self.processing_class`를 🤗 모델 허브에 업로드합니다.

## OnlineDPOConfig[[trl.experimental.online_dpo.OnlineDPOConfig]]

#### trl.experimental.online_dpo.OnlineDPOConfig[[trl.experimental.online_dpo.OnlineDPOConfig]]

```python
trl.experimental.online_dpo.OnlineDPOConfig(output_dir: str | None = None, per_device_train_batch_size: int = 8, num_train_epochs: float = 3.0, max_steps: int = -1, learning_rate: float = 5e-07, lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear', lr_scheduler_kwargs: dict | str | None = None, warmup_steps: float = 0, optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused', optim_args: str | None = None, weight_decay: float = 0.0, adam_beta1: float = 0.9, adam_beta2: float = 0.999, adam_epsilon: float = 1e-08, optim_target_modules: None | str | list[str] = None, gradient_accumulation_steps: int = 1, average_tokens_across_devices: bool = True, max_grad_norm: float = 1.0, label_smoothing_factor: float = 0.0, bf16: bool | None = None, fp16: bool = False, bf16_full_eval: bool = False, fp16_full_eval: bool = False, tf32: bool | None = None, activation_checkpointing: bool | None = None, activation_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, gradient_checkpointing: bool = True, gradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, torch_compile: bool = False, torch_compile_backend: str | None = None, torch_compile_mode: str | None = None, use_liger_kernel: bool = False, liger_kernel_config: dict[str, bool] | None = None, use_cache: bool = False, neftune_noise_alpha: float | None = None, torch_empty_cache_steps: int | None = None, auto_find_batch_size: bool = False, logging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps', logging_steps: float = 10, logging_first_step: bool = False, log_on_each_node: bool = True, logging_nan_inf_filter: bool = True, include_num_input_tokens_seen: str | bool = 'no', log_level: str = 'passive', log_level_replica: str = 'warning', disable_tqdm: bool | None = None, report_to: None | str | list[str] = 'none', run_name: str | None = None, project: str = 'huggingface', trackio_space_id: str | None = None, trackio_bucket_id: str | None = None, trackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = None, eval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no', eval_steps: float | None = None, eval_delay: float = 0, per_device_eval_batch_size: int = 8, prediction_loss_only: bool = False, eval_on_start: bool = False, eval_do_concat_batches: bool = True, eval_use_gather_object: bool = False, eval_accumulation_steps: int | None = None, include_for_metrics: list[str] = <factory>, batch_eval_metrics: bool = False, save_only_model: bool = False, save_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps', save_steps: float = 500, save_on_each_node: bool = False, save_total_limit: int | None = None, enable_jit_checkpoint: bool = False, push_to_hub: bool = False, hub_token: str | None = None, hub_private_repo: bool | None = None, hub_model_id: str | None = None, hub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save', hub_always_push: bool = False, hub_revision: str | None = None, load_best_model_at_end: bool = False, metric_for_best_model: str | None = None, greater_is_better: bool | None = None, ignore_data_skip: bool = False, restore_callback_states_from_checkpoint: bool = False, full_determinism: bool = False, seed: int = 42, data_seed: int | None = None, use_cpu: bool = False, accelerator_config: dict | str | None = None, parallelism_config: accelerate.parallelism_config.ParallelismConfig | None = None, dataloader_drop_last: bool = False, dataloader_num_workers: int = 0, dataloader_pin_memory: bool = True, dataloader_persistent_workers: bool = False, dataloader_prefetch_factor: int | None = None, dataloader_multiprocessing_context: str | None = None, dataloader_in_order: bool = True, remove_unused_columns: bool = False, label_names: list[str] | None = None, train_sampling_strategy: str = 'random', length_column_name: str = 'length', ddp_find_unused_parameters: bool | None = None, ddp_bucket_cap_mb: int | None = None, ddp_broadcast_buffers: bool | None = None, ddp_static_graph: bool | None = None, ddp_backend: str | None = None, ddp_timeout: int = 1800, fsdp: str | None = None, fsdp_config: dict[str, typing.Any] | str | None = None, deepspeed: dict | str | None = None, debug: str | list[transformers.debug_utils.DebugOption] = '', skip_memory_metrics: bool = True, do_train: bool = False, do_eval: bool = False, do_predict: bool = False, resume_from_checkpoint: str | None = None, local_rank: int = -1, reward_model_path: str | None = None, max_new_tokens: int = 64, max_length: int = 512, temperature: float = 0.9, top_p: float = 1.0, top_k: int = 0, min_p: float | None = None, repetition_penalty: float = 1.0, generation_kwargs: dict | None = None, cache_implementation: str | None = None, missing_eos_penalty: float | None = None, beta: list[float] = <factory>, loss_type: str = 'sigmoid', disable_dropout: bool = True, use_vllm: bool = False, vllm_model_impl: str = 'vllm', vllm_structured_outputs_regex: str | None = None, vllm_gpu_memory_utilization: float | None = 0.55, vllm_mode: str = 'colocate', vllm_server_base_url: str | None = None, vllm_server_host: str = '0.0.0.0', vllm_server_port: int = 8000, vllm_server_timeout: float = 240.0, vllm_group_port: int = 51216, vllm_tensor_parallel_size: int = 1, vllm_enable_sleep_mode: bool = False, ds3_gather_for_generation: bool = True, model_init_kwargs: dict[str, typing.Any] | str | None = None, trust_remote_code: bool = False, reward_weights: list[float] | None = None)
```

[소스](https://github.com/huggingface/trl/blob/v1.18.0/trl/experimental/online_dpo/online_dpo_config.py#L23)

**매개변수:**

reward_model_path (`str`, *선택 사항*) : 보상 모델의 경로.

max_new_tokens (`int`, *선택 사항*, 기본값 `64`) : 각 completion당 생성할 최대 토큰 수.

max_length (`int`, *선택 사항*, 기본값 `512`) : 로그 확률을 계산하는 데 사용되는 시퀀스(프롬프트 + 완성)의 최대 총 길이입니다. 시퀀스가 이 한도를 초과하면, 완성 부분을 최대한 보존하기 위해 왼쪽 끝의 토큰이 잘립니다. 입력에 이미지가 포함된 경우, 잘림 과정에서 이미지 토큰이 제거되므로 이 설정이 적용되지 않습니다.

temperature (`float`, *선택 사항*, 기본값 `0.9`) : 샘플링에 사용할 온도입니다. 온도가 높을수록 완성 결과가 더 무작위적으로 생성됩니다.

missing_eos_penalty (`float`, *선택*) : 모델이 EOS 토큰을 생성하지 못할 때 점수에 적용되는 페널티입니다. 이는 최대 길이(`max_new_tokens`)보다 짧은 완성본을 생성하도록 장려하는 데 유용합니다. 페널티는 양수여야 합니다.

beta (`float` 또는 `list[float]`, *선택 사항*, 기본값 `0.1`) : 참조 모델과의 편차를 제어하는 매개변수입니다. β 값이 높을수록 참조 모델과의 편차가 작아집니다. IPO 손실(`loss_type="ipo"`)의 경우, β는 [논문](https://huggingface.co/papers/2310.12036)에서 τ로 표기된 정규화 매개변수입니다. float 목록이 제공되면 각 새로운 epoch마다 β가 선택되며, 나머지 epoch에는 마지막 β가 사용됩니다.

loss_type (`str`, *선택 사항*, 기본값 `"sigmoid"`) : 사용할 손실 함수의 유형입니다. 가능한 값은 다음과 같습니다: - `"sigmoid"`: 원래 [DPO](https://huggingface.co/papers/2305.18290) 논문에서 제시한 sigmoid 손실. - `"ipo"`: [IPO](https://huggingface.co/papers/2310.12036) 논문에서 제시한 IPO 손실.

disable_dropout (`bool`, *선택 사항*, 기본값 `True`) : 모델과 참조 모델에서 dropout을 비활성화할지 여부.

**생성을 제어하는 매개변수:**

top_p (`float`, *선택 사항*, 기본값 `1.0`) : 고려할 상위 토큰의 누적 확률을 제어하는 부동소수점 값입니다. (0, 1] 범위에 있어야 합니다. 모든 토큰을 고려하려면 `1.0`으로 설정하세요.

top_k (`int`, *선택 사항*, 기본값 `0`) : top-k-filtering을 위해 유지할 가장 높은 확률의 어휘 토큰 수입니다. `0`인 경우 top-k-filtering이 비활성화되고 모든 토큰이 고려됩니다.

min_p (`float`, *선택 사항*) : 가장 가능성이 높은 토큰의 확률로 스케일링되는 최소 토큰 확률입니다. `0.0`과 `1.0` 사이의 값이어야 합니다. 일반적인 값은 `0.01-0.2` 범위입니다.

repetition_penalty (`float`, *선택 사항*, 기본값 `1.0`) : 프롬프트와 지금까지 생성된 텍스트에 토큰이 등장했는지에 따라 새로운 토큰을 페널티하는 부동소수점 값입니다. 값이 `1.0`보다 크면 모델이 새로운 토큰을 사용하도록 장려하고, `1.0`보다 작으면 모델이 토큰을 반복하도록 장려합니다.

cache_implementation (`str`, *선택 사항*) : `use_vllm`이 `False`로 설정되어 있을 때 더 빠른 생성을 위한 캐시 메서드 구현입니다.

generation_kwargs (`dict[str, Any]`, *선택 사항*) : completions 샘플링 시 [GenerationConfig](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/text_generation#transformers.GenerationConfig)(transformers 사용 시) 또는 `SamplingParams`(vLLM 사용 시)에 전달할 추가 키워드 인수입니다. `suppress_tokens`, `num_beams` 등을 설정하여 생성 동작을 더 자세히 커스터마이징하는 데 사용할 수 있습니다. 다른 생성 매개변수(예: `min_p`, `top_p` 등)와 충돌하는 키가 포함된 경우, 해당 키가 우선 적용됩니다.

**vLLM 기반 생성 가속을 제어하는 매개변수:**

use_vllm (`bool`, *선택 사항*, 기본값 `False`) : completions 생성에 vLLM을 사용할지 여부입니다. `True`로 설정하면 trainer가 기본인 model.generate() 대신 vLLM을 사용하여 생성합니다. `vllm`이 설치되어 있어야 합니다.

vllm_model_impl (`str`, *선택 사항*, 기본값 `"vllm"`) : vLLM에 사용할 모델 구현입니다. `"transformers"` 또는 `"vllm"` 중 하나여야 합니다. `"transformers"`: 모델 구현에 `transformers` 백엔드를 사용합니다. `"vllm"`: 모델 구현에 `vllm` 라이브러리를 사용합니다.

vllm_mode (`str`, *선택 사항*, 기본값 `"colocate"`) : `use_vllm`이 `True`로 설정된 경우 vLLM 통합에 사용할 모드입니다. `"server"` 또는 `"colocate"` 중 하나여야 합니다. - `"server"`: 트레이너가 별도의 vLLM 서버로 생성 요청을 보냅니다. vLLM 서버가 실행 중인지 확인하세요(`vllm serve`로 시작). - `"colocate"`: vLLM이 동일한 프로세스에서 실행되며 학습 GPU를 공유합니다. 별도의 서버가 필요 없지만 학습과 리소스 경쟁이 발생할 수 있습니다.

vllm_structured_outputs_regex (`str`, *선택 사항*) : vLLM 구조화 출력을 위한 정규식입니다. `None`(기본값)인 경우 구조화 출력이 비활성화됩니다.

**`vllm_mode`가 `"server"`일 때만 사용되는 vLLM 서버를 제어하는 매개변수:**

vllm_server_base_url (`str`, *선택 사항*) : vLLM 서버의 기본 URL(예: `"http://localhost:8000"`). 지정된 경우 `vllm_server_host`와 `vllm_server_port`는 무시됩니다.

vllm_server_host (`str`, *선택 사항*, 기본값 `"0.0.0.0"`) : 연결할 vLLM 서버의 호스트입니다. `vllm_server_base_url`이 제공된 경우 무시됩니다.

vllm_server_port (`int`, *선택 사항*, 기본값 `8000`) : 연결할 vLLM 서버의 포트입니다. `vllm_server_base_url`이 제공된 경우 무시됩니다.

vllm_server_timeout (`float`, *선택 사항*, 기본값 `240.0`) : vLLM 서버가 실행될 때까지 대기할 총 타임아웃 시간(초). 타임아웃 후에도 서버가 실행되지 않으면 `ConnectionError`가 발생한다.

vllm_group_port (`int`, *선택 사항*, 기본값 `51216`) : 가중치 업데이트 그룹의 포트 번호입니다. 이는 vLLM 서버와 통신하는 데 사용됩니다. 포트가 사용 중이 아니라면 변경할 필요가 없습니다.

**`vllm_mode`가 `"colocate"`일 때만 사용되는, colocated vLLM 실행을 제어하는 매개변수:**

vllm_gpu_memory_utilization (`float`, *선택 사항*, 기본값 `0.55`) : vLLM의 GPU 메모리 사용률을 제어합니다. 이 설정은 `vllm_mode`가 `"colocate"`로 설정된 경우에만 적용됩니다. `vllm_mode="server"`를 사용하는 경우, 이 매개변수는 `--vllm_gpu_memory_utilization` 플래그를 통해 vLLM 서버를 시작할 때 별도로 전달해야 합니다.

vllm_tensor_parallel_size (`int`, *선택 사항*, 기본값 `1`) : vLLM의 텐서 병렬 크기를 제어합니다. 이 설정은 `vllm_mode`가 `"colocate"`로 설정된 경우에만 적용됩니다. `vllm_mode="server"`를 사용하는 경우, 이 매개변수는 `--vllm_tensor_parallel_size` 플래그를 통해 vLLM 서버를 시작할 때 별도로 전달해야 합니다.

vllm_enable_sleep_mode (`bool`, *선택 사항*, 기본값 `False`) : 옵티마이저 단계 동안 가중치/캐시를 오프로드하기 위해 vLLM sleep 모드를 활성화합니다. GPU 메모리 사용량을 낮게 유지하지만, 엔진을 깨우는 과정에서 호스트-디바이스 전송 지연이 발생합니다.

**기타 매개변수:**

ds3_gather_for_generation (`bool`, *선택 사항*, 기본값 `True`) : 이 설정은 DeepSpeed ZeRO-3에 적용됩니다. 활성화하면 정책 모델 가중치가 생성을 위해 수집되어 생성 속도가 향상됩니다. 그러나 이 옵션을 비활성화하면 단일 GPU의 VRAM 용량을 초과하는 모델을 학습할 수 있지만, 생성 속도가 느려지는 단점이 있습니다. 이 옵션을 비활성화하면 vLLM 생성과 호환되지 않습니다.

model_init_kwargs (`dict[str, Any]`, *선택 사항*) : 문자열에서 모델을 인스턴스화할 때 `AutoModelForCausalLM.from_pretrained`에 전달할 키워드 인수입니다. `revision` 값은 보상 처리 클래스를 로드할 때에도 사용됩니다.

trust_remote_code (`bool`, *선택 사항*, 기본값 `False`) : Hub에서 커스텀 Python 코드를 함께 제공하는 모델의 로딩을 허용할지 여부입니다. [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained)로 전달됩니다. 또한 reward-model 및 reward-tokenizer 로딩에도 적용됩니다.

reward_weights (`list[float]`, *선택 사항*) : 여러 보상 함수를 결합하는 데 사용되는 가중치입니다. 보상 함수의 수와 일치해야 합니다. `None`인 경우 모든 보상 함수가 동일한 가중치를 갖습니다.

[experimental.online_dpo.OnlineDPOTrainer](/docs/trl/v1.18.0/ko/online_dpo_trainer#trl.experimental.online_dpo.OnlineDPOTrainer)의 구성 클래스입니다.

이 클래스에는 Online DPO 학습에 특화된 매개변수만 포함되어 있습니다. 학습 인자의 전체 목록은 [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments) 문서를 참조하세요. 이 클래스의 기본값은 [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments)의 기본값과 다를 수 있습니다.

[HfArgumentParser](https://huggingface.co/docs/transformers/v5.23.0/en/internal/trainer_utils#transformers.HfArgumentParser)를 사용하면 이 클래스를 커맨드 라인에서 지정할 수 있는 [argparse](https://docs.python.org/3/library/argparse#module-argparse) 인수로 변환할 수 있습니다.

> [!NOTE]
> 이러한 매개변수는 [TrainingArguments](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/trainer#transformers.TrainingArguments)와 다른 기본값을 가집니다: - `logging_steps`: `500` 대신 `10`이 기본값입니다. - `gradient_checkpointing`: `False` 대신 `True`가 기본값입니다. - `bf16`: `fp16`가 설정되지 않은 경우 `False` 대신 `True`가 기본값입니다. - `learning_rate`: `5e-5` 대신 `5e-7`이 기본값입니다. - `remove_unused_columns`: `True` 대신 `False`가 기본값입니다.

