TRL documentation

AWS Trainium üzerinde Eğitim

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AWS Trainium üzerinde Eğitim

AWS Trainium, torch-neuronx paketi aracılığıyla PyTorch'u yerel olarak çalıştırır ve bu paket neuron cihazını kaydeder. TRL eğitimcileri kod değişikliği gerektirmeden üzerinde çalışır. Neuron, gördüğü her giriş şekli için bir grafik derler ve her derleme yaklaşık bir dakika sürer; bu sayfanın büyük bölümü şekillerin statik kalmasını sağlamaya adanmıştır. Kurulum ve Transformers tarafı için Transformers AWS Trainium kılavuzu'na bakın.

Kurulum

AWS Neuron kurulum kılavuzunu izleyerek torch-neuronx paketini yükleyin, ardından TRL'yi aynı ortamda yükleyin.

pip install trl

Gözetimli ince ayar

SFTTrainer hızlı başlangıcı olduğu gibi çalışır:

from datasets import load_dataset
from trl import SFTTrainer

trainer = SFTTrainer(
    model="Qwen/Qwen3-0.6B",
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

Neuron üzerinde pad_to_multiple_of varsayılan olarak 128'dir ("auto" değeri), bu nedenle diziler 128'in katına tamamlanır. Bu, şekil sayısını ve dolayısıyla derlemeleri max_length / 128 ile sınırlar. Bu ayar olmadan, her yeni dizi uzunluğu bir derlemeyi tetikler. Tek bir NeuronCore'da, per_device_train_batch_size=4 ile yukarıdaki örneğin 20 adımı varsayılan ayarla 130 sn, pad_to_multiple_of=None ile 260 sn sürer.

pad_to_multiple_of seçeneğine sahip her eğitimci için de aynı durum geçerlidir: DPO, KTO, Reward, GRPO, RLOO ve Distillation.

Modelin derlenmesi

torch_compile=True değerini ayarlayarak modeli neuron arka ucuyla derleyin. Dynamo’un otomatik dinamik şekilleri, Neuron arka ucunun henüz derleyemediği grafikler üretir (#7660), bu nedenle bunları kapatın:

import torch
from datasets import load_dataset
from trl import SFTConfig, SFTTrainer

torch._dynamo.config.automatic_dynamic_shapes = False

trainer = SFTTrainer(
    model="Qwen/Qwen3-0.6B",
    args=SFTConfig(torch_compile=True),
    train_dataset=load_dataset("trl-lib/Capybara", split="train"),
)
trainer.train()

İlk adım yaklaşık 2 dakika sürer. Ardından, per_device_train_batch_size=4 ile Qwen3-0.6B, derleme olmadan 1.71 s/adım yerine tek bir NeuronCore üzerinde 1.15 s/adım hızında eğitilir.

Çevrimiçi yöntemler

vLLM, Neuron üzerinde çalışmadığından GRPO ve RLOO, Transformers ile üretim yapar. Varsayılan dinamik önbellek ile üretilen her token yeni bir şekle sahiptir ve bir adım birkaç dakika sürer. Çözümleme şekillerini sabit tutan statik önbelleği kullanın:

from datasets import load_dataset
from trl import GRPOConfig, GRPOTrainer


# Reward completions close to 200 characters
def reward_len(completions, **kwargs):
    return [-abs(200 - len(completion)) / 100 for completion in completions]


trainer = GRPOTrainer(
    model="Qwen/Qwen3-0.6B",
    reward_funcs=reward_len,
    args=GRPOConfig(
        per_device_train_batch_size=4,
        num_generations=4,
        max_completion_length=128,
        cache_implementation="static",
        model_init_kwargs={"dtype": "bfloat16"},
    ),
    train_dataset=load_dataset("trl-lib/tldr", split="train"),
)
trainer.train()

İstemler, üretimden önce de pad_to_multiple_of değerine kadar dolgu (padding) ile doldurulur; bu sayede statik önbellek yalnızca birkaç boyutu kapsar. Her yeni boyut, tek bir NeuronCore üzerinde yaklaşık 12 dakika derlenir; bir boyut derlendikten sonra, bu örneğin bir adımı yaklaşık 25 saniye sürer.

Statik önbellek şu an için bf16 model gerektirir: varsayılan fp32 modeliyle anahtarlar ve değerler farklı veri türlerinde kalır (#7664).

Veri paralelliği

trn2.3xlarge örneğinde, tek bir Trainium2 çipi bulunan bu örnekte, varsayılan Logical NeuronCore yapılandırması (LNC=2) çipin 8 fiziksel NeuronCore'unu 4 mantıksal NeuronCore ile eşleştirir.

Dördünün tamamında eğitim yapmak için, her NeuronCore için torchrun ile bir süreç başlatın:

torchrun --nproc_per_node 4 train.py

Bu yapılandırma, SFT'nin 4 NeuronCore üzerinde 1 NeuronCore üzerinde olduğundan 3,6 kat daha hızlı çalıştığını gösterir.

Bir çalıştırmayı NeuronCore alt kümesine sınırlamak için NEURON_RT_VISIBLE_CORES değerini 0,1, 2,3 veya 0-3 olarak ayarlayın. 1,2 gibi diğer kombinasyonlar desteklenmez: Neuron çalışma zamanı, bu çekirdekler arasında kolektifleri kuramamaktadır.

Update on GitHub