TRL documentation

Online DPO Eğiticisi

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Online DPO Eğiticisi

model badge

Genel Bakış

Online DPO, Shangmin Guo, Biao Zhang, Tianlin Liu, Tianqi Liu, Misha Khalman, Felipe Llinares, Alexandre Rame, Thomas Mesnard, Yao Zhao, Bilal Piot, Johan Ferret ve Mathieu Blondel tarafından Direct Language Model Alignment from Online AI Feedback makalesinde önerilmiştir.

Makalenin özeti aşağıdaki gibidir:

Tercihlerden doğrudan hizalama (DAP) yöntemleri, örneğin DPO, son zamanlarda ayrı bir ödül modeli gerektirmeyen, insan geri bildiriminden pekiştirmeli öğrenme (RLHF) için verimli alternatifler olarak ortaya çıkmıştır. Ancak DAP yöntemlerinde kullanılan tercih veri setleri genellikle eğitimden önce toplanır ve asla güncellenmez; bu nedenle geri bildirim tamamen çevrimdışıdır. Ayrıca bu veri setlerindeki yanıtlar, hizalanan modelden farklı bir dil modelinden örneklenmiş olma eğilimindedir ve model eğitim sırasında evrildiğinden, hizalama aşaması kaçınılmaz olarak politika dışı (off-policy) kalır. Bu çalışmada, çevrimiçi geri bildirimin anahtar olduğunu ve DAP yöntemlerini iyileştirdiğini öne sürüyoruz. Yöntemimiz olan çevrimiçi yapay zekâ geri bildirimi (OAIF), bir LLM'i işaretleyici olarak kullanır: her eğitim yinelemesinde, mevcut modelden iki yanıt örnekler ve LLM işaretleyicisine hangisinin tercih edildiğini seçmesini ister, böylece çevrimiçi geri bildirim sağlar. Sadece basitliğine rağmen, çeşitli görevlerde insan değerlendirmesi yoluyla OAIF'in hem çevrimdışı DAP hem de RLHF yöntemlerinden daha iyi performans gösterdiğini gösteriyoruz. Ayrıca OAIF'te kullanılan geri bildirimin, LLM işaretleyicisine verilen talimat istemcileri aracılığıyla kolayca kontrol edilebilir olduğunu da gösteriyoruz.

Bu eğitim sonrası yöntemi Michael Noukhovitch, Shengyi Costa Huang, Quentin Gallouédec ve Edward Beeching tarafından katkı sağlanmıştır.

Hızlı başlangıç

Bu örnek, çevrimiçi DPO yöntemiyle bir modelin nasıl eğitileceğini göstermektedir. Temel model olarak Qwen 0.5B modelini, ödül modeli olarak ise trl-lib/Qwen2-0.5B-Reward ödül modelini kullanıyoruz. İfadeleri UltraFeedback veri setinden alıyoruz. Veri setindeki ifadeleri buradan görüntüleyebilirsiniz:

Aşağıda modeli eğitmek için betik yer almaktadır:

# train_online_dpo.py
from datasets import load_dataset
from trl.experimental.online_dpo import OnlineDPOConfig, OnlineDPOTrainer
from transformers import AutoModelForCausalLM, AutoModelForSequenceClassification, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
reward_model = AutoModelForSequenceClassification.from_pretrained("trl-lib/Qwen2-0.5B-Reward", num_labels=1)
train_dataset = load_dataset("trl-lib/ultrafeedback-prompt", split="train")

training_args = OnlineDPOConfig(output_dir="Qwen2-0.5B-OnlineDPO")
trainer = OnlineDPOTrainer(
    model=model, reward_funcs=reward_model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset
)
trainer.train()

Aşağıdaki komutu kullanarak betiği çalıştırın:

torchrun --nproc_per_node 8 train_online_dpo.py

8 GPU arasında dağıtılmış eğitim yaklaşık 1 saat sürer. Eğitim ilerlemesini ödül grafiğini kontrol ederek doğrulayabilirsiniz. Reddedilen ve seçilen tamamlamalar için ödülde artan bir eğilim, modelin zamanla iyileştiğini ve daha iyi yanıtlar ürettiğini gösterir.

Eğitilen modelin performansını görmek için Transformers Chat CLI'yi kullanabilirsiniz.

$ transformers chat trl-lib/Qwen2-0.5B-OnlineDPO
<quentin_gallouedec>:
What is the best programming language?

<trl-lib/Qwen2-0.5B-OnlineDPO>:
The best programming language depends on your specific needs and priorities. Some people prefer imperative programming languages (like Haskell or Lisp), while others prefer functional programming languages (like Scala or Python). It's important to consider your work style, programming environment, and project requirements when choosing a programming language.

Beklenen veri seti türü

Online DPO yalnızca bir sadece istemci veri seti gerektirir (çevrimdışı DPO'nun tercih veri seti beklemesinin aksine). experimental.online_dpo.OnlineDPOTrainer, hem sohbet hem de standart veri seti biçimlerini destekler. Sohbet veri seti sağlandığında, eğitimci veri setine sohbet şablonunu otomatik olarak uygular.

Kullanım ipuçları

EOS token üretimini teşvik edin

Bir ödül modeli kullanırken, modelin belirli bir uzunluk içinde tamamlamalar üretmesini isteyebiliriz. Eğitim sırasında model, experimental.online_dpo.OnlineDPOConfig'in max_new_tokens argümanında belirtilen maksimum uzunluğa kadar tamamlamalar üretir. Modelin maksimum uzunluğa ulaşmadan önce bir EOS token'ı üretmemesini cezalandırmak istiyorsanız, experimental.online_dpo.OnlineDPOConfig'in missing_eos_penalty argümanını kullanabilirsiniz:

training_args = OnlineDPOConfig(..., max_new_tokens=128, missing_eos_penalty=1.0)

Tamamlamaları Kaydetme

Eğitim sırasında modelinizin davranışını daha iyi anlamak için LogCompletionsCallback kullanarak örnek tamamlamaları periyodik olarak kaydedebilirsiniz.

trainer = OnlineDPOTrainer(..., eval_dataset=eval_dataset)
completions_callback = LogCompletionsCallback(trainer, num_prompts=8)
trainer.add_callback(completions_callback)

Bu geri çağırma, modelin ürettiği tamamlamaları doğrudan Weights & Biases'e kaydeder.

Logged Completions

Kaydedilen metrikler

Eğitim ve değerlendirme sırasında aşağıdaki metrikleri kaydederiz. İşte Weights and Biases'te izlenen bir çalışmanın örneği

  • objective/kl: Güncel model ile referans model arasındaki ortalama Kullback-Leibler (KL) ayrılığı.
  • objective/entropy: Modelin ortalama entropisi, modelin seçtiği eylemlerin rastgeleliğini gösterir.
  • objective/non_score_reward: Skorla ilgili olmayan kaynaklardan gelen ortalama ödül, temelde beta * kl.sum(1) ifadesidir; burada beta KL ceza katsayısı, kl ise token başına KL ayrılığıdır.
  • objective/rlhf_reward: scores - non_score_reward ifadesinin ortalaması olan ortalama RLHF ödülü. rlhf_reward, çevrim içi DPO eğitiminin nihai hedefidir. Eğitim beklenildiği gibi çalışıyorsa, bu metrik sürekli artmalıdır.
  • objective/scores: Ödül modelinin döndürdüğü ortalama puanlar.
  • objective/scores_margin: Seçilen ve reddedilen tamamlamalar arasındaki ortalama puan marjı (dış ödül modeline göre).
  • rewards/chosen: Seçilen tamamlamaların ortalama ödülü (çevrimiçi DPO'nun örtük ödül modeline göre).
  • rewards/rejected: Reddedilen tamamlamaların ortalama ödülü (çevrimiçi DPO'nun örtük ödül modeline göre).
  • rewards/accuracies: Çevrimiçi DPO'nun örtük ödül modelinin doğrulukları.
  • rewards/margins: Seçilen ve reddedilen tamamlamalar arasındaki ortalama ödül marjı (çevrimiçi DPO'nun örtük ödül modeline göre).
  • logps/chosen: Seçilen tamamlamaların ortalama log olasılıkları.
  • logps/rejected: Reddedilen tamamlamaların ortalama log olasılıkları.
  • val/contain_eos_token: Tamamlamaların EOS token içeren oranı.
  • beta: Referans modelden sapmayı temsil eden kayıp teriminin ağırlığını kontrol eden parametre. Genellikle sabittir ancak experimental.online_dpo.OnlineDPOConfig'e bir liste geçirilerek dinamik hale getirilebilir.

Benchmark deneyleri

Çevrimiçi DPO uygulamasının çalıştığını doğrulamak için, 8 x H100'lu tek bir düğümde Pythia 1B, 2.8B ve 6.9B modelleriyle deneyler gerçekleştirdik. Deneyleri çalıştırmak için kullandığımız komutlar aşağıdadır; bu komutlar, o dönemde mevcut olan çevrimiçi DPO örnek betiğini (examples/scripts/online_dpo.py, daha sonra kaldırıldı) kullanır — bunları yeniden üretmek için v1.10.0 sürümünden bir kopya alın (git checkout v1.10.0). SFT / RM modellerini doğrudan The N+ Implementation Details of RLHF with PPO: A Case Study on TL;DR Summarization makalesinden alıyoruz.

# 1B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/multi_gpu.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-1b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-1b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-1b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

# 2.8B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-2.8b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-2.8b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-2.8b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 8 \
    --gradient_accumulation_steps 2 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

# 6.9B Online DPO experiment
accelerate launch --config_file examples/accelerate_configs/deepspeed_zero2.yaml \
    examples/scripts/online_dpo.py \
    --model_name_or_path trl-lib/pythia-6.9b-deduped-tldr-sft  \
    --reward_model_path trl-lib/pythia-6.9b-deduped-tldr-rm \
    --dataset_name trl-lib/tldr \
    --learning_rate 5.0e-7 \
    --output_dir pythia-6.9b-deduped-tldr-online-dpo \
    --beta 0.1 \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 4 \
    --num_train_epochs 3 \
    --max_new_tokens 53 \
    --warmup_steps 0.1 \
    --missing_eos_penalty 1.0 \
    --save_steps 0.1 \
    --push_to_hub

Deney bu 🐝 W&B raporunda takip edilmektedir.

Model boyutlarını büyüttükçe çevrimiçi DPO kontrol noktasının kazanma oranı giderek artıyor. Bu, çevrimiçi DPO uygulamasının beklenildiği gibi çalıştığının iyi bir göstergesidir.

OnlineDPOTrainer

sınıf trl.experimental.online_dpo.OnlineDPOTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str]ref_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, NoneType] = Nonereward_funcs: str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]] | list[str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]]] | None = Noneargs: trl.experimental.online_dpo.online_dpo_config.OnlineDPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, NoneType] = Noneeval_dataset: typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset, dict[str, typing.Union[datasets.arrow_dataset.Dataset, torch.utils.data.IterableDataset]], NoneType] = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = None )

Parametreler

  • model (str | nn.Module | PreTrainedModel) — Eğitilecek model. Aşağıdakilerden biri olabilir:
    • Bir dize, huggingface.co üzerindeki bir model deposunda barındırılan ön eğitilmiş bir modelin model kimliği veya save_pretrained kullanılarak kaydedilmiş model ağırlıklarını içeren bir dizin yolu, örneğin './my_model_directory/'. Model, args.model_init_kwargs içindeki anahtar kelime argümanlarıyla from_pretrained kullanılarak yüklenir.
    • Bir PreTrainedModel nesnesi. Yalnızca nedensel dil modelleri desteklenir.
  • ref_model (PreTrainedModel veya torch.nn.Module veya None) — Eğitim için kullanılacak referans model. None belirtilirse, referans model modelden oluşturulur.
  • reward_funcs (RewardFunc | list[RewardFunc]) — Ödülleri hesaplamak için kullanılacak ödül işlevleri. Ödülleri hesaplamak için tüm ödül işlevleri, istemler (prompts) ve tamamlamalar (completions) ile çağrılır ve ödüllerin toplamı alınır. Şu seçeneklerden biri olabilir:
    • Tek bir ödül fonksiyonu: Bir dize (modele giden yol), bir PreTrainedModel veya özel bir çağrılabilir fonksiyon olabilir.
    • Ödül fonksiyonlarının listesi: Tümü uyumlu tiplerde olmalıdır.
  • args (experimental.online_dpo.OnlineDPOConfig) — Eğitim için kullanılacak online DPO yapılandırma argümanları.
  • data_collator (DataCollator) — Eğitim için kullanılacak veri toplayıcı. None belirtilirse, çift dizilerden oluşan bir veri seti verildiğinde, dizileri batch içindeki dizilerin maksimum uzunluğuna kadar dolduran varsayılan veri toplayıcı (experimental.utils.DPODataCollatorWithPadding) kullanılacaktır.
  • train_dataset (Dataset veya IterableDataset) — Eğitim için kullanılacak veri seti.
  • eval_dataset (Dataset, IterableDataset veya dict[str, Dataset | IterableDataset]) — Değerlendirme için kullanılacak veri seti.
  • processing_class (PreTrainedTokenizerBase veya ProcessorMixin, isteğe bağlı) — Verileri işlemek için kullanılan işleme sınıfı. Sağlanırsa, model girdilerini otomatik olarak işlemek için kullanılır ve yarıda kalan bir eğitimi yeniden başlatmayı veya ince ayarlanmış modeli yeniden kullanmayı kolaylaştırmak amacıyla modelle birlikte kaydedilir.
  • reward_processing_classes (PreTrainedTokenizerBase veya list[PreTrainedTokenizerBase], isteğe bağlı) — reward_funcs içinde belirtilen ödül fonksiyonlarına karşılık gelen işleme sınıfları reward_funcs. Şu seçeneklerden biri olabilir:
    • Tek bir işleme sınıfı: reward_funcs yalnızca bir ödül fonksiyonu içerdiğinde kullanılır.
    • İşleme sınıfları listesi: reward_funcs içindeki ödül fonksiyonlarının sırası ve uzunluğuyla eşleşmelidir.

    None olarak ayarlanırsa, her model tabanlı ödül fonksiyonu için tokenizer, from_pretrained kullanılarak otomatik olarak yüklenir.

  • peft_config (PeftConfig, isteğe bağlı) — Modeli sarmak için kullanılan PEFT yapılandırması. None ise model sarılmaz.
  • compute_metrics (Callable[[EvalPrediction], dict], isteğe bağlı) — Metrikleri hesaplamak için kullanılacak işlev. Bir EvalPrediction almalı ve metrik değerlerini içeren bir sözlük döndürmelidir.
  • callbacks (list[transformers.TrainerCallback]) — Eğitim için kullanılacak geri çağrılar.
  • optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — Eğitim için kullanılacak optimizör ve zamanlayıcı.
  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — Metrikler hesaplanmadan önce logit'leri ön işlemek için kullanılacak işlev.

OnlineDPOTrainer'ı başlatın.

eğit

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Parametreler

  • resume_from_checkpoint (str veya bool, isteğe bağlı) — str ise, önceki bir Trainer örneği tarafından kaydedilen bir kontrol noktasının yerel yolu. bool ise ve True değerine eşitse, önceki bir Trainer örneği tarafından args.output_dir içinde kaydedilen son kontrol noktasını yükler. Mevcutsa, eğitim burada yüklenen model/optimizör/zamanlayıcı durumlarından devam eder.
  • trial (optuna.Trial veya dict[str, Any], isteğe bağlı) — Hiperparametre araması için deneme çalışması veya hiperparametre sözlüğü.
  • ignore_keys_for_eval (list[str], isteğe bağlı) — Eğitim sırasında değerlendirme için tahminleri toplarken göz ardı edilmesi gereken, model çıktısındaki (bir sözlükse) anahtarların listesi.

Dönüş değeri

~trainer_utils.TrainOutput

Küresel adım sayısını, eğitim kaybını ve metrikleri içeren nesne.

Ana eğitim giriş noktası.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Modeli kaydeder, böylece from_pretrained() kullanarak yeniden yükleyebilirsiniz.

Yalnızca ana süreçten kaydedecektir.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Parametreler

  • commit_message (str, isteğe bağlı, varsayılan "End of training") — İterlerken gönderilecek mesaj.
  • blocking (bool, isteğe bağlı, varsayılan True) — Fonksiyonun yalnızca git push işlemi tamamlandığında mı değer döndürmesi gerektiğini belirtir.
  • token (str, isteğe bağlı, varsayılan None) — Trainer'ın orijinal argümanlarını üzerine yazma iznine sahip jeton.
  • revision (str, isteğe bağlı) — Commit'in alınacağı git revizyonu. Varsayılan olarak “main” dalının başıdır.
  • private (bool, isteğe bağlı) — Depo oluşturulurken özel yapılıp yapılmayacağı. Varsayılan olarak args.hub_private_repo değerini alır. Depo zaten mevcutsa hiçbir etkisi yoktur.
  • kwargs (dict[str, Any], isteğe bağlı) — ~Trainer.create_model_card ile birlikte iletilen ek anahtar kelime argümanları.

self.model ve self.processing_class öğelerini self.args.hub_model_id deposundaki 🤗 model hub'ına yükleyin.

OnlineDPOConfig

sınıf trl.experimental.online_dpo.OnlineDPOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-07lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1reward_model_path: str | None = Nonemax_new_tokens: int = 64max_length: int = 512temperature: float = 0.9top_p: float = 1.0top_k: int = 0min_p: float | None = Nonerepetition_penalty: float = 1.0generation_kwargs: dict | None = Nonecache_implementation: str | None = Nonemissing_eos_penalty: float | None = Nonebeta: list[float] = <factory>loss_type: str = 'sigmoid'disable_dropout: bool = Trueuse_vllm: bool = Falsevllm_model_impl: str = 'vllm'vllm_structured_outputs_regex: str | None = Nonevllm_gpu_memory_utilization: float | None = 0.55vllm_mode: str = 'colocate'vllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_tensor_parallel_size: int = 1vllm_enable_sleep_mode: bool = Falseds3_gather_for_generation: bool = Truemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsereward_weights: list[float] | None = None )

Parametreler

  • reward_model_path (str, isteğe bağlı) — Ödül modeline giden yol.
  • max_new_tokens (int, isteğe bağlı, varsayılan 64) — Tamamlama başına üretilecek maksimum token sayısı.
  • max_length (int, isteğe bağlı, varsayılan 512) — Log olasılıkların hesaplanmasında kullanılan dizinin (istek + tamamlama) maksimum toplam uzunluğu. Dizi bu sınırı aşarsa, tamamlamanın olabildiğince korunması için en soldaki jetonlar kırpılır. Girdiler görsel içerdiğinde uygulanmaz, çünkü kırpma işlemi görsel jetonlarını düşürür.
  • temperature (float, isteğe bağlı, varsayılan 0.9) — Örnekleme için sıcaklık. Sıcaklık ne kadar yüksekse, tamamlamalar o kadar rastgele olur.
  • missing_eos_penalty (float, isteğe bağlı) — Modelin bir EOS token'ı üretmemesi durumunda skora uygulanan ceza. Bu, maksimum uzunluktan (max_new_tokens) daha kısa tamamlamalar üretmeyi teşvik etmek için kullanışlıdır. Ceza pozitif bir değer olmalıdır.
  • beta (float veya list[float], isteğe bağlı, varsayılan 0.1) — Referans modelden sapmayı kontrol eden parametre. β değeri ne kadar yüksekse, referans modelden sapma o kadar azdır. IPO kaybı (loss_type="ipo") için β, makalede τ ile gösterilen düzenleme parametresidir. Ondalıklı sayılar listesi sağlanırsa, β her yeni epoch için seçilir ve kalan epoch'lar için son β değeri kullanılır.
  • loss_type (str, isteğe bağlı, varsayılan olarak "sigmoid") — Kullanılacak kayıp türü. Olası değerler şunlardır:
    • "sigmoid": orijinal DPO makalesindeki sigmoid kaybı.
    • "ipo": IPO makalesinden IPO kaybı.
  • disable_dropout (bool, isteğe bağlı, varsayılan True) — Modelde ve referans modelde dropout'un devre dışı bırakılıp bırakılmayacağı.

Üretimi kontrol eden parametreler

  • top_p (float, isteğe bağlı, varsayılan 1.0) — Dikkate alınacak üst tokenların kümülatif olasılığını kontrol eden float. (0, 1] aralığında olmalıdır. Tüm tokenları dikkate almak için 1.0 olarak ayarlayın.
  • top_k (int, isteğe bağlı, varsayılan 0) — Top-k filtreleme için en yüksek olasılığa sahip tutulacak sözlük belirteçlerinin sayısı. 0 ise top-k filtreleme devre dışı bırakılır ve tüm belirteçler dikkate alınır.
  • min_p (float, isteğe bağlı) — En olası token'ın olasılığına göre ölçeklendirilen minimum token olasılığı. 0.0 ile 1.0 arasında bir değer olmalıdır. Tipik değerler 0.01-0.2 aralığındadır.
  • repetition_penalty (float, isteğe bağlı, varsayılan 1.0) — İstemde ve şu ana kadar üretilen metinde görünüp görünmediklerine göre yeni token'ları cezalandıran bir ondalık sayı. 1.0'dan büyük değerler modelin yeni token'lar kullanmasını teşvik ederken, 1.0'dan küçük değerler modelin token'ları tekrarlamasını teşvik eder.
  • cache_implementation (str, isteğe bağlı) — use_vllm False olarak ayarlandığında daha hızlı üretim için önbellek yönteminin uygulaması.
  • generation_kwargs (dict[str, Any], isteğe bağlı) — Tamamlamalar örneklenirken GenerationConfig (transformers kullanılıyorsa) veya SamplingParams (vLLM kullanılıyorsa) iletilmesi için ek anahtar kelime argümanları. Bu, suppress_tokens, num_beams gibi ayarları yapılandırarak üretim davranışını daha da özelleştirmek için kullanılabilir. Diğer üretim parametreleriyle (ör. min_p, top_p vb.) çakışan anahtarlar içeriyorsa, bunlar onları geçersiz kılar.

vLLM tarafından desteklenen üretim hızlandırmasını kontrol eden parametreler

  • use_vllm (bool, isteğe bağlı, varsayılan False) — Tamamlamaları üretmek için vLLM kullanılacak mı? True olarak ayarlanırsa, eğitimci üretim için varsayılan model.generate() yerine vLLM kullanır. Bunun için vllm paketinin yüklü olması gerekir.
  • vllm_model_impl (str, isteğe bağlı, varsayılan "vllm") — vLLM için kullanılacak model uygulaması. "transformers" veya "vllm" değerlerinden biri olmalıdır. "transformers": Model uygulaması için transformers arka ucunu kullanır. "vllm": Model uygulaması için vllm kütüphanesini kullanır.
  • vllm_mode (str, isteğe bağlı, varsayılan olarak "colocate") — kullanıldığında vLLM entegrasyonu için kullanılacak mod use_vllm olarak ayarlanırsa True. aşağıdakilerden biri olmalıdır: "server" veya "colocate".
    • "server": Eğitmen, üretim isteklerini ayrı bir vLLM sunucusuna gönderir. Bir vLLM sunucusunun çalıştığından emin olun (vllm serve ile başlatın).
    • "colocate": vLLM aynı süreçte çalışır ve eğitim GPU'larını paylaşır. Bu, ayrı bir sunucuya olan ihtiyacı ortadan kaldırır ancak eğitimle kaynak çakışmasına neden olabilir.
  • vllm_structured_outputs_regex (str, isteğe bağlı) — vLLM yapılandırılmış çıktıları için regex. None (varsayılan) ise yapılandırılmış çıktılar devre dışıdır.

vLLM sunucusunu kontrol eden parametreler (yalnızca `vllm_mode` `"server"` olduğunda kullanılır)

  • vllm_server_base_url (str, isteğe bağlı) — vLLM sunucusu için temel URL (ör. "http://localhost:8000"). Verildiğinde vllm_server_host ve vllm_server_port yok sayılır.
  • vllm_server_host (str, isteğe bağlı, varsayılan "0.0.0.0") — Bağlanacak vLLM sunucusunun host adresi. vllm_server_base_url sağlanırsa yok sayılır.
  • vllm_server_port (int, isteğe bağlı, varsayılan 8000) — Bağlanacak vLLM sunucusunun portu. vllm_server_base_url sağlanırsa yok sayılır.
  • vllm_server_timeout (float, isteğe bağlı, varsayılan 240.0) — vLLM sunucusunun ayağa kalkması için beklenen toplam zaman aşımı süresi (saniye cinsinden). Sunucu zaman aşımı süresinin sonunda ayağa kalkmazsa bir ConnectionError yükseltilir.
  • vllm_group_port (int, isteğe bağlı, varsayılan 51216) — Ağırlık güncelleme grubu için port numarası. Bu, vLLM sunucusuyla iletişim kurmak için kullanılır. Port meşgul değilse değiştirmeye gerek yoktur.

Colocate edilmiş vLLM çalıştırmayı kontrol eden parametreler (yalnızca `vllm_mode` `"colocate"` olduğunda kullanılır)

  • vllm_gpu_memory_utilization (float, isteğe bağlı, varsayılan 0.55) — vLLM için GPU bellek kullanımını kontrol edin. Bu ayar yalnızca vllm_mode değeri "colocate" olarak ayarlandığında geçerlidir. vllm_mode="server" kullanıyorsanız, bu parametrenin vLLM sunucusunu --vllm_gpu_memory_utilization bayrağıyla başlatırken ayrı olarak geçirilmesi gerekir.
  • vllm_tensor_parallel_size (int, isteğe bağlı, varsayılan 1) — vLLM için tensor paralel boyutunu kontrol eder. Bu ayar yalnızca vllm_mode değeri "colocate" olarak ayarlandığında geçerlidir. vllm_mode="server" kullanıyorsanız, bu parametrenin vLLM sunucusunu --vllm_tensor_parallel_size bayrağıyla başlatırken ayrı olarak geçirilmesi gerekir.
  • vllm_enable_sleep_mode (bool, isteğe bağlı, varsayılan False) — Optimizatör adımı sırasında ağırlıkları/önbelleği boşaltmak için vLLM uyku modunu etkinleştirir. GPU bellek kullanımını düşük tutar, ancak motorun uyanması ev sahibi–cihaz aktarma gecikmesi ekler.

Diğer parametreler

  • ds3_gather_for_generation (bool, isteğe bağlı, varsayılan True) — Bu ayar, DeepSpeed ZeRO-3 için geçerlidir. Etkinleştirilirse, üretim için politika modeli ağırlıkları toplanır ve üretim hızı artırılır. Ancak bu seçeneğin devre dışı bırakılması, tek bir GPU'nun VRAM kapasitesini aşan modellerin eğitimine olanak tanır; bunun bedeli ise daha yavaş bir üretime yol açmasıdır. Bu seçeneğin devre dışı bırakılması, vLLM üretimiyle uyumlu değildir.
  • model_init_kwargs (dict[str, Any], isteğe bağlı) — Modelin bir dizgeden örneklenirken AutoModelForCausalLM.from_pretrained fonksiyonuna geçirilecek anahtar kelime argümanları. revision değeri, ödül işleme sınıfları yüklenirken de kullanılır.
  • trust_remote_code (bool, isteğe bağlı, varsayılan False) — Hub'dan özel Python kodu içeren modellerin yüklenmesine izin verilip verilmeyeceğini belirtir. from_pretrained fonksiyonuna iletilir. Ödül modeli ve ödül tokenizer'ı yüklemelerine de uygulanır.
  • reward_weights (list[float], isteğe bağlı) — Birden fazla ödül fonksiyonunu birleştirmek için ağırlıklar. Ödül fonksiyonlarının sayısıyla eşleşmelidir. None ise tüm ödül fonksiyonları eşit ağırlıklandırılır.

experimental.online_dpo.OnlineDPOTrainer için yapılandırma sınıfı.

Bu sınıf yalnızca Online DPO eğitimine özgü parametreleri içerir. Eğitim argümanlarının tam listesi için TrainingArguments belgelerine bakın. Bu sınıftaki varsayılan değerlerin TrainingArguments içindeki değerlerden farklı olabileceğini unutmayın.

HfArgumentParser kullanarak bu sınıfı, komut satırında belirtilebilen argparse argümanlarına dönüştürebiliriz.

Bu parametrenin TrainingArguments'ten farklı varsayılan değerleri vardır:

  • logging_steps: Varsayılan olarak 500 yerine 10 değerine ayarlanır.
  • gradient_checkpointing: Varsayılan olarak False yerine True değerini alır.
  • bf16: fp16 ayarlanmadıysa varsayılan olarak True, False yerine.
  • learning_rate: Varsayılan olarak 5e-5 yerine 5e-7 olarak ayarlanır.
  • remove_unused_columns: Varsayılan olarak True yerine False değerini alır.
Update on GitHub