Transformers documentation
Mamba 2
Bu model, 2024-05-31 tarihinde HF papers'ta yayımlandı ve 2024-08-06 tarihinde Hugging Face Transformers'a katkıda bulunuldu.
Mamba 2
Mamba 2, yapılandırılmış durum uzayı modelleri (SSM) ile dikkat varyantlarını birbirine bağlayan durum uzayı ikiliği (SSD) çerçevesine dayanır. Mamba'dan 2-8 kat daha hızlı olan daha verimli bir SSD algoritması kullanır ve mimariyi, tensör paralelliğini ve gruplanmış-değer dikkati (GVA) başlık yapısını destekleyecek şekilde değiştirir.
Tüm orijinal Mamba 2 checkpoint'lerini State Space Models organizasyonu altında bulabilirsiniz ancak aşağıda gösterilen örnekler, orijinal checkpoint'ler için henüz bir Hugging Face uygulamasının desteklenmemesi nedeniyle mistralai/Mamba-Codestral-7B-v0.1 kullanır.
Diğer Mamba 2 tabanlı mimariler arasında Bamba, FalconH1 ve Zamba2 yer alır.
Bu model ArthurZ tarafından katkıda bulunmuştur. Mamba'nın farklı dil görevlerine nasıl uygulanacağına dair daha fazla örnek için sağ kenar çubuğundaki Mamba modellerine tıklayın.
Aşağıdaki örnek, Pipeline, AutoModel ve komut satırından metin üretmenin nasıl yapılacağını göstermektedir.
from transformers import pipeline
pipeline = pipeline(
task="text-generation",
model="mistralai/Mamba-Codestral-7B-v0.1",
device=0
)
pipeline("Plants create energy through a process known as")from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mamba-Codestral-7B-v0.1")
model = AutoModelForCausalLM.from_pretrained("mistralai/Mamba-Codestral-7B-v0.1", device_map="auto")
input_ids = tokenizer("Plants create energy through a process known as", return_tensors="pt").to(model.device)
output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))Quantization, ağırlıkları daha düşük bir hassasiyetle temsil ederek büyük modellerin bellek yükünü azaltır. Daha fazla kullanılabilir quantization backend'i için Quantization genel bakışına başvurun.
Aşağıdaki örnek, ağırlıkları yalnızca 4 bit tamsayılara kuantize etmek için torchao kullanır.
from transformers import AutoModelForCausalLM, AutoTokenizer, TorchAoConfig
quantization_config = TorchAoConfig("int4_weight_only", group_size=128)
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mamba-Codestral-7B-v0.1")
model = AutoModelForCausalLM.from_pretrained("mistralai/Mamba-Codestral-7B-v0.1", quantization_config=quantization_config, device_map="auto")
input_ids = tokenizer("Plants create energy through a process known as", return_tensors="pt").to(model.device)
output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))Notlar
Codestral Mamba'nın, dikkat tabanlı bir modeldeki kv başlarının sayısına benzer şekilde
groups=8değeri vardır.Codestral Mamba iki farklı ileri geçişe sahiptir:
torch_forwardveyacuda_kernels_forwardve bu geçişlerin sonuçlarının hafifçe farklı olması beklenir.- Derleme olmadan
torch_forward,cuda_kernels_forward'den 3-4 kat daha hızlıdır. cuda_kernels_forward, ortamınızda mevcut ise orijinal CUDA çekirdeklerini kullanır. Daha yüksek CPU yükü nedeniyle bir “ısınma turu” gerektirdiğinden prefill sırasında daha yavaştır (daha fazla ayrıntı için bu yorumlara bakın).
- Derleme olmadan
Bu modelde konumsal gömme (positional embedding) bulunmamaktadır; ancak
attention_maskve toplu üretim (batched generation) durumunda gizli durumları (hidden states) iki farklı noktada maskelemek için özel bir mantık vardır (daha fazla ayrıntı için bu yorumuna bakınız). Bu durum (ve yeniden uygulanan Mamba 2 çekirdeklerinin eklenmesi), toplu üretim ile önbellekli üretim (cached generation) arasında küçük bir tutarsızlığa yol açmaktadır.SSM algoritması, matmul karşılıkları olan ancak işlemlerin sırası biraz farklı olan tensör çarpımlarına büyük ölçüde dayanır. Bu durum, daha düşük hassasiyetlerde farkın daha belirgin olmasına neden olur.
Padding yalnızca sol padding ile test edilir. Sağ padding, önbelleği pad konumlarıyla günceller ve güvenilir olmayan sonuçlar verir. Toplu üretim için
tokenizer.padding_side="left"ayarlayın. Padding tarafı bölümüne bakın.Aşağıdaki örnek, Mamba 2'nin PEFT ile nasıl ince ayarlanacağını göstermektedir.
from datasets import load_dataset
from peft import LoraConfig
from trl import SFTConfig, SFTTrainer
model_id = "mistralai/Mamba-Codestral-7B-v0.1"
dataset = load_dataset("Abirate/english_quotes", split="train")
training_args = SFTConfig(dataset_text_field="quote", gradient_checkpointing=True, per_device_train_batch_size=4)
lora_config = LoraConfig(target_modules=["x_proj", "embeddings", "in_proj", "out_proj"])
trainer = SFTTrainer(
model=model_id,
args=training_args,
train_dataset=dataset,
peft_config=lora_config,
)
trainer.train()Mamba2Config
sınıf transformers.Mamba2Config
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_heads: int = 128head_dim: int = 64vocab_size: int = 32768hidden_size: int = 4096state_size: int = 128num_hidden_layers: int = 64layer_norm_epsilon: float = 1e-05pad_token_id: int | None = 1bos_token_id: int | None = 0eos_token_id: int | list[int] | None = 2expand: int = 2conv_kernel: int = 4n_groups: int = 8use_bias: bool = Falseuse_conv_bias: bool = Truehidden_act: str = 'silu'initializer_range: float = 0.1residual_in_fp32: bool = Truetime_step_rank: str | int = 'auto'time_step_min: float = 0.001time_step_max: float = 0.1time_step_floor: float = 0.0001time_step_limit: list[float] | tuple[float, ...] = (0.0, inf)rescale_prenorm_residual: bool = Falseuse_cache: bool = Truechunk_size: int = 256tie_word_embeddings: bool = False )
Parametreler
- num_heads (
int, isteğe bağlı, varsayılan128) — Transformer çözücüdeki her dikkat katmanı için dikkat başlığı sayısı. - head_dim (
int, isteğe bağlı, varsayılan64) — Dikkat başlığı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır. - vocab_size (
int, isteğe bağlı, varsayılan32768) — Modelin sözlük boyutu.input_idsile temsil edilebilecek farklı token sayısını belirler. - hidden_size (
int, isteğe bağlı, varsayılan4096) — Gizli temsillerin boyutu. - state_size (
int, isteğe bağlı, varsayılan128) — Mamba katmanlarında SSM durumunun boyutu (gizli durum boyutu). - num_hidden_layers (
int, isteğe bağlı, varsayılan64) — Transformer çözücüdeki gizli katman sayısı. - layer_norm_epsilon (
float, isteğe bağlı, varsayılan 1e-05) — Katman normalizasyon katmanlarında kullanılacak epsilon. - pad_token_id (
int, isteğe bağlı, varsayılan1) — Sözlükte dolgu için kullanılan token kimliği. - bos_token_id (
int, isteğe bağlı, varsayılan0) — Sözlükte akış başlangıcı için kullanılan token kimliği. - eos_token_id (
Union[int, list[int]], isteğe bağlı, varsayılan2) — Sözlükte akış sonu için kullanılan token kimliği. - expand (
int, isteğe bağlı, varsayılan 2) — Ara boyutu belirlemek için kullanılan genişletme çarpanı. - conv_kernel (
int, isteğe bağlı, varsayılan4) — Konvolüsyon çekirdeğinin boyutu. - n_groups (
int, isteğe bağlı, varsayılan 8) — mamba 2'nin evrim matrisleri için grup sayısı. - use_bias (
bool, isteğe bağlı, varsayılanFalse) — Mixer bloğunun [“in_proj”, “out_proj”] bileşenlerinde bias kullanılıp kullanılmayacağı - use_conv_bias (
bool, isteğe bağlı, varsayılanTrue) — Mixer bloğundaki konvolüsyon katmanında bias kullanılıp kullanılmayacağı. - hidden_act (
str, isteğe bağlı, varsayılansilu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin,"gelu","relu","silu"vb. - initializer_range (
float, isteğe bağlı, varsayılan0.1) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması. - residual_in_fp32 (
bool, isteğe bağlı, varsayılanTrue) — Residüllerinfloat32içinde tutulup tutulmayacağı.Falseolarak ayarlanırsa residüller, modelin geri kalanıyla aynıdtypedeğerini korur. - time_step_rank (
Union[str, int], isteğe bağlı, varsayılanauto) — Delta (zaman adımı) projeksiyonunun rütbesi. Otomatik olarak ayarlamak için"auto"olabilir. - time_step_min (
float, isteğe bağlı, varsayılan0.001) —dt_proj.biasiçin sınır olarak kullanılan minimumtime_step. - time_step_max (
float, isteğe bağlı, varsayılan0.1) —dt_proj.biasiçin sınır olarak kullanılan maksimumtime_step. - time_step_floor (
float, isteğe bağlı, varsayılan0.0001) — Softplus aktivasyonu sonrası ayrık zaman adımı farkı için izin verilen minimum değer. - time_step_limit (
Union[list[float], tuple[float, ...]], isteğe bağlı, varsayılan(0.0, inf)) — Kesme (clamping) için kabul edilen zaman adımı değerleri aralığı. - rescale_prenorm_residual (
bool, isteğe bağlı, varsayılanFalse) — Başlatma sırasındaout_projağırlıklarının yeniden ölçeklendirilip ölçeklendirilmeyeceğini belirtir. - use_cache (
bool, isteğe bağlı, varsayılanTrue) — Modelin son anahtar/değer dikkatlerini (tüm modellerde kullanılmaz) döndürüp döndürmeyeceği. Yalnızcaconfig.is_decoder=Trueolduğunda veya model yalnızca çözücü tabanlı üretken bir model olduğunda geçerlidir. - chunk_size (
int, isteğe bağlı, varsayılan 256) — Diziyi oluşturacak parçaların boyutu. - tie_word_embeddings (
bool, isteğe bağlı, varsayılanFalse) — Modelintied_weights_keyseşlemesine göre ağırlık gömme bağlamalarının yapılıp yapılmayacağı.
Bu, bir Mamba2Model yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Mamba2 modelini örneklemek ve model mimarisini tanımlamak için kullanılır. Varsayılan değerlerle bir yapılandırma örneği oluşturmak, state-spaces/mamba2-2.8b modelinin yapılandırmasına benzer bir yapılandırma elde edilmesini sağlar.
Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.
Örnek:
>>> from transformers import Mamba2Config, Mamba2Model
>>> # Initializing a Mamba2 configuration
>>> configuration = Mamba2Config()
>>> # Initializing a model (with random weights) from the configuration
>>> model = Mamba2Model(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configMamba2Model
sınıf transformers.Mamba2Model
< source >( config: Mamba2Config )
Parametreler
- config (Mamba2Config) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
Üzerinde herhangi bir özel head olmadan ham gizli durumları (hidden-states) üreten çıplak Mamba2 Modeli.
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.LongTensor] = Nonecache_params: transformers.cache_utils.Cache | None = Noneuse_cache: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Noneattention_mask: typing.Optional[torch.Tensor] = None**kwargs ) → Mamba2Output or tuple(torch.FloatTensor)
Parametreler
- input_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.
- inputs_embeds (
torch.LongTensor, şekli(batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak,input_idsyerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu,input_idsdizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisinden daha fazla kontrol sahibi olmak istiyorsanız faydalıdır. - cache_params (
Cache, isteğe bağlı) — Verilirse, model tüm bloklarda önceki durumu kullanır (bu, modelinstate_input_ids + input_idsbağlamını eklediği varsayımıyla, sağlananinput_idsiçin çıktıyı verir). - use_cache (
bool, isteğe bağlı) —Trueolarak ayarlanırsa,cache_paramsdöndürülür ve bir sonraki logits'leri hızlıca üretmek için kullanılabilir. - output_hidden_states (
bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındakihidden_statesbölümüne bakın. - return_dict (
bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi? - attention_mask (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri[0, 1]:- 1, maskelenmemiş jetonlar için,
- maskelenmiş jetonlar için 0.
Dönüş değeri
Mamba2Output veya tuple(torch.FloatTensor)
Mamba2Output veya
torch.FloatTensor bir demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırma (Mamba2Config) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
Mamba2Model forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
last_hidden_state (
torch.FloatTensor, şekli(batch_size, sequence_length, hidden_size), isteğe bağlı) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.cache_params (
~cache_utils.Cache, isteğe bağlı) — Modelin son zaman adımındaki durumu. Eskiinput_idsdeğerlerini tekrar sağlamak zorunluluğunu ortadan kaldırmak için, bir forward metodunda bir sonrakiinput_idsile birlikte kullanılabilir.Seçici taramadan sonraki Durum Uzayı Modeli durum matrislerinin yanı sıra Konvolüsyonel durumları da içerir
hidden_states (
tuple[torch.FloatTensor], isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren,(batch_size, sequence_length, hidden_size)biçiminde bir demet.Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.
Mamba2LMHeadModel
sınıf transformers.Mamba2ForCausalLM
< source >( config: Mamba2Config )
Parametreler
- config (Mamba2Config) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.
Üzerinde bir dil modelleme başlığı (girdi gömme vektörleriyle ağırlıkları bağlı olmayan doğrusal bir katman) bulunan MAMBA2 Model dönüştürücüsü.
Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.
Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.FloatTensor] = Nonecache_params: transformers.cache_utils.Cache | None = Nonelabels: typing.Optional[torch.LongTensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Noneuse_cache: bool | None = Noneattention_mask: typing.Optional[torch.Tensor] = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs ) → Mamba2CausalLMOutput or tuple(torch.FloatTensor)
Parametreler
- input_ids (
torch.LongTensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Sözlükteki girdi dizisi belirteçlerinin (token) indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.
- inputs_embeds (
torch.FloatTensor, şekli(batch_size, sequence_length, hidden_size), isteğe bağlı) — İsteğe bağlı olarak,input_idsyerine gömülü bir temsil doğrudan geçmeyi tercih edebilirsiniz. Bu,input_idsdizinlerini ilgili vektörlere dönüştürme biçimi üzerinde modelin dahili gömme arama matrisine kıyasla daha fazla kontrol sahibi olmak istiyorsanız faydalıdır. - cache_params (
Cache, isteğe bağlı) — Verilirse, model tüm bloklarda önceki durumu kullanır (bu, modelinstate_input_ids + input_idsbağlamını eklediği varsayımıyla, sağlananinput_idsiçin çıktıyı verir). - labels (
torch.LongTensor, şekli(batch_size, sequence_length), isteğe bağlı) — Dil modelleme için etiketler. Not: Etiketler model içinde kaydırılır, yanilabels = input_idsolarak ayarlayabilirsiniz. İndisler[-100, 0, ..., config.vocab_size]aralığından seçilir.-100olarak ayarlanan tüm etiketler yoksayılır (maske uygulanır), kayıp yalnızca[0, ..., config.vocab_size]aralığındaki etiketler için hesaplanır. - output_hidden_states (
bool, isteğe bağlı) — Tüm katmanların gizli durumlarının (hidden states) döndürülüp döndürülmeyeceğini belirtir. Daha fazla ayrıntı için döndürülen tensörler altındakihidden_statesbölümüne bakın. - return_dict (
bool, isteğe bağlı) — Düz bir tuple yerine ModelOutput döndürülecek mi? - use_cache (
bool, isteğe bağlı) —Trueolarak ayarlanırsa,cache_paramsdöndürülür ve bir sonraki logits'leri hızlıca üretmek için kullanılabilir. - attention_mask (
torch.Tensorşeklinde(batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri[0, 1]:- 1, maskelenmemiş jetonlar için,
- maskelenmiş jetonlar için 0.
- logits_to_keep (
Union[int, torch.Tensor], isteğe bağlı, varsayılan0) —intise, sonlogits_to_keeptoken için logits hesaplanır.0ise, tüminput_idsiçin logits hesaplanır (özel durum). Üretim için yalnızca son token logits'leri gereklidir ve bunların yalnızca o token için hesaplanması bellek tasarrufu sağlar; bu, uzun diziler veya büyük sözlük boyutu için oldukça önemli hale gelir.torch.Tensorise, dizi uzunluğu boyutundaki korunacak indekslere karşılık gelen 1B olmalıdır. Bu, paketlenmiş tensor biçimini (batch ve dizi uzunluğu için tek boyut) kullanırken faydalıdır.
Dönüş değeri
Mamba2CausalLMOutput veya tuple(torch.FloatTensor)
Mamba2CausalLMOutput veya
torch.FloatTensor bir demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (Mamba2Config) ve girdilere bağlı olarak çeşitli öğelerden oluşur.
Mamba2ForCausalLM forward metodu, __call__ özel metodunu geçersiz kılar.
İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine
Moduleörneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.
loss (
torch.FloatTensor, şekli(1,), opsiyonel,labelssağlandığında döndürülür) — Dil modelleme kaybı (sonraki token tahmini için).logits (
torch.FloatTensor, şekli(batch_size, sequence_length, config.vocab_size)) — Dil modelleme başlığının tahmin puanları (SoftMax öncesi her sözlük jetonu için puanlar).cache_params (
~cache_utils.Cache, isteğe bağlı) — Modelin son zaman adımındaki durumu. Eskiinput_idsdeğerlerini tekrar sağlamak zorunluluğunu ortadan kaldırmak için, bir forward metodunda bir sonrakiinput_idsile birlikte kullanılabilir.Seçici taramadan sonraki Durum Uzayı Modeli durum matrislerinin yanı sıra Konvolüsyonel durumları da içerir
hidden_states (
tuple[torch.FloatTensor], isteğe bağlı,output_hidden_states=Truegeçirildiğinde veyaconfig.output_hidden_states=Trueolduğunda döndürülür) —torch.FloatTensor(modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren,(batch_size, sequence_length, hidden_size)biçiminde bir demet.Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.