Transformers documentation

Candle

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Candle

Candle es un framework de aprendizaje automático que ofrece implementaciones nativas en Rust de modelos Transformers. Admite de forma nativa safetensors para cargar modelos Transformers directamente.

/// load model config
let config: Config = 
    serde_json::from_reader(std::fs::File::open(config_filename)?)?;

/// load safetensors and memory-maps them
let vb = unsafe {
    VarBuilder::from_mmaped_safetensors(&filenames, dtype, &device)?
};

/// materialize tensors from VarBuilder into model class
let model = Model::new(args.use_flash_attn, &config, vb)?;

Integración con Transformers

  1. El crate hf-hub busca el modelo en la cache local de Hugging Face. Si no está allí, descarga los pesos y las configuraciones del modelo desde el Hub.
  2. VarBuilder carga los archivos safetensor de forma diferida. Asigna los nombres de claves del state-dict a structs de Rust que representan las capas del modelo. Esto refleja la forma en que Transformers organiza sus pesos.
  3. Candle analiza config.json para extraer los metadatos del modelo e instancia la clase de modelo de Rust correspondiente con los pesos de VarBuilder.

Recursos

Update on GitHub