# T5v1.1

## Genel Bakış

T5v1.1, Colin Raffel ve diğerleri tarafından [google-research/text-to-text-transfer-transformer](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511) deposunda yayınlanmıştır. Bu model, orijinal T5 modelinin geliştirilmiş bir versiyonudur. Bu model [patrickvonplaten](https://huggingface.co/patrickvonplaten) tarafından katkıda bulunmuştur. Orijinal kod [burada](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511) bulunabilir.

## Kullanım ipuçları

T5v1.1 ağırlıkları, aşağıdaki gibi doğrudan bir T5 modeline yerleştirilebilir:

```python
from transformers import T5ForConditionalGeneration

model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")
```

T5 Version 1.1, orijinal T5 modeline kıyasla aşağıdaki iyileştirmeleri içerir:

- Gizli ileri beslemeli katmanda ReLU yerine GEGLU aktivasyonu kullanılır. Bkz. [bu makale](https://huggingface.co/papers/2002.05202).

- Dropout, ön eğitim sırasında kapatılmıştı (kalite kazanımı). Dropout, ince ayar sırasında yeniden etkinleştirilmelidir.

- Sadece C4 üzerinde, aşağı akış görevleri karıştırılmadan ön eğitildi.

- Gömme ve sınıflandırıcı katmanı arasında parametre paylaşımı yoktur.

- "xl" ve "xxl", "3B" ve "11B" yerine geçer. Model şekilleri biraz farklıdır - daha büyük `d_model` ve daha küçük `num_heads` ile `d_ff`.

Not: T5 Version 1.1 yalnızca [C4](https://huggingface.co/datasets/allenai/c4) üzerinde, herhangi bir denetimli eğitim olmadan ön eğitilmiştir. Bu nedenle, orijinal T5 modelinin aksine, bu modelin bir aşağı akış görevinde kullanılabilir hale gelmesi için ince ayar yapılması gerekir. t5v1.1 denetimsiz olarak ön eğitildiğinden, tek görevli ince ayar sırasında bir görev öneki kullanmanın gerçek bir avantajı yoktur. Çoklu görevli ince ayar yapıyorsanız, bir önek kullanmalısınız.

Google aşağıdaki varyantları yayınladı:

- [google/t5-v1_1-small](https://huggingface.co/google/t5-v1_1-small)

- [google/t5-v1_1-base](https://huggingface.co/google/t5-v1_1-base)

- [google/t5-v1_1-large](https://huggingface.co/google/t5-v1_1-large)

- [google/t5-v1_1-xl](https://huggingface.co/google/t5-v1_1-xl)

- [google/t5-v1_1-xxl](https://huggingface.co/google/t5-v1_1-xxl).

Tüm API referansları, ipuçları, kod örnekleri ve defterler için [T5'in dokümantasyon sayfasına](t5) bakın.