Transformers documentation

TensorRT-LLM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TensorRT-LLM

TensorRT-LLM optimiza la inferencia de LLM en GPUs de NVIDIA. Compila los modelos en un motor de TensorRT con in-flight batching, caché de KV paginada y paralelismo de tensores. AutoDeploy acepta modelos de Transformers sin requerir ningún cambio. Convierte automáticamente el modelo a un tiempo de ejecución optimizado.

Pasa un id de modelo del Hub a build_and_run_ad.py para ejecutar un modelo de Transformers.

cd examples/auto_deploy
python build_and_run_ad.py --model meta-llama/Llama-3.2-1B

Por debajo, AutoDeploy crea una clase LLM. Carga la configuración del modelo con AutoConfig.from_pretrained() y extrae cualquier metadato de paralelismo almacenado en tp_plan. AutoModelForCausalLM.from_pretrained() carga el modelo con la configuración y habilita el paralelismo de tensores integrado de Transformers.

from tensorrt_llm._torch.auto_deploy import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B")

TensorRT-LLM extrae el grafo del modelo con torch.export y aplica optimizaciones. Reemplaza la atención de Transformers con los kernels de atención de TensorRT-LLM y compila el modelo en un backend de ejecución optimizado.

Recursos

Update on GitHub