# vLLM

[vLLM](https://github.com/vllm-project/vllm), LLM'leri ölçekli olarak sunmak için yüksek geçişli bir çıkarım motorudur. İstekleri sürekli olarak toplu işler ve PagedAttention ile KV önbellek belleğini kompakt tutar.

Transformers modelleme arka ucunu kullanarak bir model yüklemek için `model_impl="transformers"` değerini ayarlayın.

```py
from vllm import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B", model_impl="transformers")
print(llm.generate(["The capital of France is"]))
```

Çevrimiçi sunum için `vllm serve` komutuna `--model-impl transformers` parametresini geçirin.

```bash
vllm serve meta-llama/Llama-3.2-1B \
    --task generate \
    --model-impl transformers
```

## Transformers entegrasyonu

1. [AutoConfig.from_pretrained()](/docs/transformers/v5.23.0/tr/model_doc/auto#transformers.AutoConfig.from_pretrained), modelin `config.json` dosyasını Hub'dan veya Hugging Face önbelleğinizden yükler. vLLM, hangi vLLM model sınıfının kullanılacağını belirlemek için `architectures` alanını dahili model kayıt defteriyle karşılaştırır.
2. Model kayıt defterinde yoksa, vLLM bunun yerine Transformers model uygulamasını yüklemek için [AutoModel.from_config()](/docs/transformers/v5.23.0/tr/model_doc/auto#transformers.AutoModel.from_config) çağrısını yapar.
3. [AutoTokenizer.from_pretrained()](/docs/transformers/v5.23.0/tr/model_doc/auto#transformers.AutoTokenizer.from_pretrained) tokenizer dosyalarını yükler. vLLM, çıkarım sırasında aşırı yükü azaltmak için bazı tokenizer iç bileşenlerini önbelleğe alır.
4. Model ağırlıkları, Hub'dan safetensors biçiminde indirilir.

`model_impl="transformers"` ayarlandığında vLLM model kayıt defteri atlanır ve model doğrudan Transformers üzerinden yüklenir. vLLM, Transformers model yapısını korurken model modüllerinin çoğunu (MoE, dikkat, doğrusal katmanlar) kendi optimize edilmiş sürümleriyle değiştirir.

## Kaynaklar

- Daha fazla kullanım örneği ve ipucu için [vLLM belgeleri](https://docs.vllm.ai/en/latest/models/supported_models.html#transformers).
- [Hugging Face ile entegrasyon](https://docs.vllm.ai/en/latest/design/huggingface_integration/), vLLM'in Transformers ile nasıl entegre edildiğini açıklar.