# vLLM

[vLLM](https://github.com/vllm-project/vllm) est un moteur d’inférence à haut débit conçu pour servir des LLM à grande échelle. Il met en lot de manière continue les requêtes et maintient la mémoire du cache KV compacte grâce à PagedAttention.

Définissez `model_impl="transformers"` pour charger un modèle en utilisant le backend de modélisation Transformers.

```py
from vllm import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B", model_impl="transformers")
print(llm.generate(["The capital of France is"]))
```

Passez `--model-impl transformers` à la commande `vllm serve` pour le service en ligne.

```bash
vllm serve meta-llama/Llama-3.2-1B \
    --task generate \
    --model-impl transformers
```

## Intégration de Transformers

1. [AutoConfig.from_pretrained()](/docs/transformers/v5.23.0/fr/model_doc/auto#transformers.AutoConfig.from_pretrained) charge le fichier `config.json` du modèle depuis le Hub ou votre cache Hugging Face. vLLM compare le champ `architectures` à son registre de modèles interne pour déterminer quelle classe de modèle vLLM utiliser.
2. Si le modèle n'est pas présent dans le registre, vLLM appelle [AutoModel.from_config()](/docs/transformers/v5.23.0/fr/model_doc/auto#transformers.AutoModel.from_config) pour charger l'implémentation du modèle Transformers à la place.
3. [AutoTokenizer.from_pretrained()](/docs/transformers/v5.23.0/fr/model_doc/auto#transformers.AutoTokenizer.from_pretrained) charge les fichiers du tokenizer. vLLM met en cache certains éléments internes du tokenizer afin de réduire la surcharge pendant l’inférence.
4. Téléchargement des poids du modèle depuis le Hub au format safetensors.

Définir `model_impl="transformers"` contourne le registre de modèles vLLM et charge directement depuis Transformers. vLLM remplace la plupart des modules de modèle (MoE, attention, couches linéaires) par ses propres versions optimisées tout en conservant la structure du modèle Transformers.

## Ressources

- [documentation vLLM](https://docs.vllm.ai/en/latest/models/supported_models.html#transformers) pour plus d'exemples d'utilisation et d'astuces.
- [Intégration avec Hugging Face](https://docs.vllm.ai/en/latest/design/huggingface_integration/) explique comment vLLM s'intègre à Transformers.

