Transformers documentation
TensorRT-LLM
TensorRT-LLM
TensorRT-LLM optimiza la inferencia de LLM en GPUs de NVIDIA. Compila los modelos en un motor de TensorRT con in-flight batching, caché de KV paginada y paralelismo de tensores. AutoDeploy acepta modelos de Transformers sin requerir ningún cambio. Convierte automáticamente el modelo a un tiempo de ejecución optimizado.
Pasa un id de modelo del Hub a build_and_run_ad.py para ejecutar un modelo de Transformers.
cd examples/auto_deploy
python build_and_run_ad.py --model meta-llama/Llama-3.2-1BPor debajo, AutoDeploy crea una clase LLM. Carga la configuración del modelo con AutoConfig.from_pretrained() y extrae cualquier metadato de paralelismo almacenado en tp_plan. AutoModelForCausalLM.from_pretrained() carga el modelo con la configuración y habilita el paralelismo de tensores integrado de Transformers.
from tensorrt_llm._torch.auto_deploy import LLM
llm = LLM(model="meta-llama/Llama-3.2-1B")TensorRT-LLM extrae el grafo del modelo con torch.export y aplica optimizaciones. Reemplaza la atención de Transformers con los kernels de atención de TensorRT-LLM y compila el modelo en un backend de ejecución optimizado.
Recursos
- Documentación de TensorRT-LLM para guías de uso más detalladas.
- La guía de AutoDeploy explica cómo funciona con ejemplos avanzados.