PEFT documentation

Prompt ayarlama

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Prompt ayarlama

Only train and store a significantly smaller set of task-specific prompt parameters (image source).

Prompt tuning, gömme uzayında eğitilebilir vektörlerden oluşan, görev özelinde sanal bir promptu girdiye ekler. Sanal token parametreleri, dondurulmuş ön eğitilmiş model parametrelerinden bağımsız olarak güncellenir.

Makalenin özeti şudur:

Bu çalışmada, dondurulmuş dil modellerini belirli aşağı akış görevlerini gerçekleştirmek üzere koşullandırmak için “soft prompt” (yumuşak istem) öğrenen, basit ama etkili bir mekanizma olan “prompt tuning” (istem ayarı) yöntemini inceliyoruz. GPT-3’ün kullandığı ayrık metin istemlerinin aksine, soft prompt’lar geri yayılım (backpropagation) yoluyla öğrenilir ve herhangi bir sayıda etiketli örnekten gelen sinyali içerecek şekilde ayarlanabilir. Uçtan uca öğrenilen yaklaşımımız, GPT-3’ün “few-shot” (az örnekli) öğrenmesini büyük bir farkla geride bırakıyor. Daha da dikkat çekici olanı, T5 üzerinde model boyutuna göre yapılan ablatasyonlarla (ablation), prompt tuning’in ölçekle birlikte daha rekabetçi hale geldiğini gösteriyoruz: modeller milyarlarca parametreyi aştığında, yöntemimiz “farkı kapatıyor” ve model ayarının (modelin tüm ağırlıklarının ayarlandığı) güçlü performansıyla eşleşiyor. Bu bulgu, büyük modellerin paylaşımının ve sunumunun (serve) maliyetli olması ve tek bir dondurulmuş modelin birden fazla aşağı akış görevi için yeniden kullanılabilmesinin bu yükü hafifletebilmesi açısından özellikle önemlidir. Yöntemimiz, Li ve Liang (2021) tarafından önerilen “prefix tuning” (ön ek ayarı) yönteminin bir basitleştirilmesi olarak görülebilir ve bu yöntemle diğer benzer yaklaşımlarla karşılaştırma sunuyoruz. Son olarak, tam model ayarına kıyasla, dondurulmuş bir modelin soft prompt’larla koşullandırılmasının alan transferine (domain transfer) karşı sağlamlık açısından faydalar sağladığını gösteriyoruz.

prefix tuning'in aksine, sanal token'lar yalnızca ilk katmanın girdisine uygulanır.

Kullanım

İki karar verilmelidir: modele girdi olarak kaç sanal token ekleneceği (num_virtual_tokens) - bu, eğitilebilir parametre sayısını belirleyecektir - ve bu token'ların nasıl başlatılacağı.

Görev türünü, modelin eğitileceği başlangıç prompt tuning metnini, eklenecek ve öğrenilecek sanal token sayısını ve bir tokenizer'ı içeren bir PromptTuningConfig oluşturun.

from peft import PromptTuningConfig, PromptTuningInit, get_peft_model

prompt_tuning_init_text = "Classify if the tweet is a complaint or no complaint.\n"
peft_config = PromptTuningConfig(
    task_type="CAUSAL_LM",
    prompt_tuning_init=PromptTuningInit.TEXT,
    num_virtual_tokens=len(tokenizer(prompt_tuning_init_text)["input_ids"]),
    prompt_tuning_init_text=prompt_tuning_init_text,
    tokenizer_name_or_path="bigscience/bloomz-560m",
)
model = get_peft_model(model, peft_config)
model.print_healthcheck()

Karma performans değerlendirmesi genel bakış

API

PromptTuningConfig

sınıf peft.PromptTuningConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falsenum_virtual_tokens: int = Nonetoken_dim: int = Nonenum_transformer_submodules: Optional[int] = Nonenum_attention_heads: Optional[int] = Nonenum_layers: Optional[int] = Nonemodules_to_save: Optional[list[str]] = Noneprompt_tuning_init: peft.tuners.prompt_tuning.config.PromptTuningInit | str = <PromptTuningInit.RANDOM: 'RANDOM'>prompt_tuning_init_text: str | None = Nonetokenizer_name_or_path: str | None = Nonetokenizer_kwargs: dict | None = None )

Parametreler

  • prompt_tuning_init (Union[PromptTuningInit, str]) — Prompt gömme (embedding) başlatma yöntemi. TEXT, metninizle başlatma yapar. SAMPLE_VOCAB, modelin sözlüğünden rastgele örneklenen token'larla başlatma yapar. RANDOM, rastgele örneklenen sürekli, yumuşak token'larla başlatma yapar (uyarı: örneklenen yumuşak token'lar gömme çokluğunun (embedding manifold) dışında kalabilir).
  • prompt_tuning_init_text (str, isteğe bağlı) — Prompt gömmelemesini başlatmak için kullanılacak metin. Yalnızca prompt_tuning_init değeri TEXT ise kullanılır.
  • tokenizer_name_or_path (str, isteğe bağlı) — Tokenizörün adı veya yolu. Yalnızca prompt_tuning_init değeri TEXT ise kullanılır.
  • tokenizer_kwargs (dict, isteğe bağlı) — AutoTokenizer.from_pretrained fonksiyonuna iletilecek anahtar kelime argümanları. Yalnızca prompt_tuning_init değeri TEXT ise kullanılır.

Bu, bir PromptEmbedding yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır.

PromptEmbedding

sınıf peft.PromptEmbedding

< >

( configword_embeddings )

Parametreler

  • config (PromptTuningConfig) — Prompt gömme yapılandırması.
  • word_embeddings (torch.nn.Module) — Temel dönüştürücü modelin kelme gömme değerleri.

Sanal tokenleri prompt gömmelelerine kodlamak için kullanılacak model.

Öznitelikler:

  • embedding (torch.nn.Embedding) — Prompt embedding'inin gömme katmanı.

Örnek:

>>> from peft import PromptEmbedding, PromptTuningConfig

>>> config = PromptTuningConfig(
...     peft_type="PROMPT_TUNING",
...     task_type="SEQ_2_SEQ_LM",
...     num_virtual_tokens=20,
...     token_dim=768,
...     num_transformer_submodules=1,
...     num_attention_heads=12,
...     num_layers=12,
...     prompt_tuning_init="TEXT",
...     prompt_tuning_init_text="Predict if sentiment of this review is positive, negative or neutral",
...     tokenizer_name_or_path="t5-base",
... )

>>> # t5_model.shared is the word embeddings of the base model
>>> prompt_embedding = PromptEmbedding(config, t5_model.shared)

Girdi Şekli: (batch_size, total_virtual_tokens)

Çıktı Şekli: (batch_size, total_virtual_tokens, token_dim)

Update on GitHub