Transformers documentation
Candle
Comenzar
Clases base
Modelos
Preprocesadores
Inferencia
API de Pipeline
Generar API
Optimización
Chatear con modelos
Servicio
Entrenamiento
Hardware
Cuantización
Integraciones del ecosistema
Motores de inferencia
Despliegue local
Preentrenamiento
Ajuste fino
Recursos
API
Candle
Candle es un framework de aprendizaje automático que ofrece implementaciones nativas en Rust de modelos Transformers. Admite de forma nativa safetensors para cargar modelos Transformers directamente.
/// load model config
let config: Config =
serde_json::from_reader(std::fs::File::open(config_filename)?)?;
/// load safetensors and memory-maps them
let vb = unsafe {
VarBuilder::from_mmaped_safetensors(&filenames, dtype, &device)?
};
/// materialize tensors from VarBuilder into model class
let model = Model::new(args.use_flash_attn, &config, vb)?;Integración con Transformers
- El crate hf-hub busca el modelo en la cache local de Hugging Face. Si no está allí, descarga los pesos y las configuraciones del modelo desde el Hub.
- VarBuilder carga los archivos safetensor de forma diferida. Asigna los nombres de claves del state-dict a structs de Rust que representan las capas del modelo. Esto refleja la forma en que Transformers organiza sus pesos.
- Candle analiza
config.jsonpara extraer los metadatos del modelo e instancia la clase de modelo de Rust correspondiente con los pesos deVarBuilder.
Recursos
- Documentación de Candle