PEFT documentation
Prompt ayarlama
Prompt ayarlama

Prompt tuning, gömme uzayında eğitilebilir vektörlerden oluşan, görev özelinde sanal bir promptu girdiye ekler. Sanal token parametreleri, dondurulmuş ön eğitilmiş model parametrelerinden bağımsız olarak güncellenir.
Makalenin özeti şudur:
Bu çalışmada, dondurulmuş dil modellerini belirli aşağı akış görevlerini gerçekleştirmek üzere koşullandırmak için “soft prompt” (yumuşak istem) öğrenen, basit ama etkili bir mekanizma olan “prompt tuning” (istem ayarı) yöntemini inceliyoruz. GPT-3’ün kullandığı ayrık metin istemlerinin aksine, soft prompt’lar geri yayılım (backpropagation) yoluyla öğrenilir ve herhangi bir sayıda etiketli örnekten gelen sinyali içerecek şekilde ayarlanabilir. Uçtan uca öğrenilen yaklaşımımız, GPT-3’ün “few-shot” (az örnekli) öğrenmesini büyük bir farkla geride bırakıyor. Daha da dikkat çekici olanı, T5 üzerinde model boyutuna göre yapılan ablatasyonlarla (ablation), prompt tuning’in ölçekle birlikte daha rekabetçi hale geldiğini gösteriyoruz: modeller milyarlarca parametreyi aştığında, yöntemimiz “farkı kapatıyor” ve model ayarının (modelin tüm ağırlıklarının ayarlandığı) güçlü performansıyla eşleşiyor. Bu bulgu, büyük modellerin paylaşımının ve sunumunun (serve) maliyetli olması ve tek bir dondurulmuş modelin birden fazla aşağı akış görevi için yeniden kullanılabilmesinin bu yükü hafifletebilmesi açısından özellikle önemlidir. Yöntemimiz, Li ve Liang (2021) tarafından önerilen “prefix tuning” (ön ek ayarı) yönteminin bir basitleştirilmesi olarak görülebilir ve bu yöntemle diğer benzer yaklaşımlarla karşılaştırma sunuyoruz. Son olarak, tam model ayarına kıyasla, dondurulmuş bir modelin soft prompt’larla koşullandırılmasının alan transferine (domain transfer) karşı sağlamlık açısından faydalar sağladığını gösteriyoruz.
prefix tuning'in aksine, sanal token'lar yalnızca ilk katmanın girdisine uygulanır.
Kullanım
İki karar verilmelidir: modele girdi olarak kaç sanal token ekleneceği (num_virtual_tokens) - bu, eğitilebilir parametre sayısını belirleyecektir - ve bu token'ların nasıl başlatılacağı.
Görev türünü, modelin eğitileceği başlangıç prompt tuning metnini, eklenecek ve öğrenilecek sanal token sayısını ve bir tokenizer'ı içeren bir PromptTuningConfig oluşturun.
from peft import PromptTuningConfig, PromptTuningInit, get_peft_model
prompt_tuning_init_text = "Classify if the tweet is a complaint or no complaint.\n"
peft_config = PromptTuningConfig(
task_type="CAUSAL_LM",
prompt_tuning_init=PromptTuningInit.TEXT,
num_virtual_tokens=len(tokenizer(prompt_tuning_init_text)["input_ids"]),
prompt_tuning_init_text=prompt_tuning_init_text,
tokenizer_name_or_path="bigscience/bloomz-560m",
)
model = get_peft_model(model, peft_config)
model.print_healthcheck()Karma performans değerlendirmesi genel bakış
API
PromptTuningConfig
sınıf peft.PromptTuningConfig
< source >( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneprompt_tuning_init: peft.tuners.prompt_tuning.config.PromptTuningInit | str = <PromptTuningInit.RANDOM: 'RANDOM'>prompt_tuning_init_text: str | None = Nonetokenizer_name_or_path: str | None = Nonetokenizer_kwargs: dict | None = None )
Parametreler
- prompt_tuning_init (Union[
PromptTuningInit,str]) — Prompt gömme (embedding) başlatma yöntemi.TEXT, metninizle başlatma yapar.SAMPLE_VOCAB, modelin sözlüğünden rastgele örneklenen token'larla başlatma yapar.RANDOM, rastgele örneklenen sürekli, yumuşak token'larla başlatma yapar (uyarı: örneklenen yumuşak token'lar gömme çokluğunun (embedding manifold) dışında kalabilir). - prompt_tuning_init_text (
str, isteğe bağlı) — Prompt gömmelemesini başlatmak için kullanılacak metin. Yalnızcaprompt_tuning_initdeğeriTEXTise kullanılır. - tokenizer_name_or_path (
str, isteğe bağlı) — Tokenizörün adı veya yolu. Yalnızcaprompt_tuning_initdeğeriTEXTise kullanılır. - tokenizer_kwargs (
dict, isteğe bağlı) —AutoTokenizer.from_pretrainedfonksiyonuna iletilecek anahtar kelime argümanları. Yalnızcaprompt_tuning_initdeğeriTEXTise kullanılır.
Bu, bir PromptEmbedding yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır.
PromptEmbedding
sınıf peft.PromptEmbedding
< source >( configword_embeddings )
Parametreler
- config (PromptTuningConfig) — Prompt gömme yapılandırması.
- word_embeddings (
torch.nn.Module) — Temel dönüştürücü modelin kelme gömme değerleri.
Sanal tokenleri prompt gömmelelerine kodlamak için kullanılacak model.
Öznitelikler:
- embedding (
torch.nn.Embedding) — Prompt embedding'inin gömme katmanı.
Örnek:
>>> from peft import PromptEmbedding, PromptTuningConfig
>>> config = PromptTuningConfig(
... peft_type="PROMPT_TUNING",
... task_type="SEQ_2_SEQ_LM",
... num_virtual_tokens=20,
... token_dim=768,
... num_transformer_submodules=1,
... num_attention_heads=12,
... num_layers=12,
... prompt_tuning_init="TEXT",
... prompt_tuning_init_text="Predict if sentiment of this review is positive, negative or neutral",
... tokenizer_name_or_path="t5-base",
... )
>>> # t5_model.shared is the word embeddings of the base model
>>> prompt_embedding = PromptEmbedding(config, t5_model.shared)Girdi Şekli: (batch_size, total_virtual_tokens)
Çıktı Şekli: (batch_size, total_virtual_tokens, token_dim)