Candle

Candle, Transformers modellerinin yerel Rust uygulamalarını sunan bir makine öğrenmesi çerçevesidir. Transformers modellerini doğrudan yüklemek için safetensors formatını yerel olarak destekler.

/// load model config
let config: Config = 
    serde_json::from_reader(std::fs::File::open(config_filename)?)?;

/// load safetensors and memory-maps them
let vb = unsafe {
    VarBuilder::from_mmaped_safetensors(&filenames, dtype, &device)?
};

/// materialize tensors from VarBuilder into model class
let model = Model::new(args.use_flash_attn, &config, vb)?;

Transformers entegrasyonu

1. hf-hub crate'ı, bir model için yerel Hugging Face önbelleğinizi kontrol eder. Model orada yoksa, model ağırlıklarını ve yapılandırmalarını Hub'dan indirir.
2. VarBuilder, safetensor dosyalarını tembel (lazy) olarak yükler. State-dict anahtar adlarını, model katmanlarını temsil eden Rust yapılarına eşler. Bu, Transformers'ın ağırlıklarını nasıl organize ettiğini yansıtır.
3. Candle, model metadata'yi çıkarmak için config.json dosyasını ayrıştırır ve VarBuilder'deki ağırlıklarla eşleşen Rust model sınıfını örnekler.

Kaynaklar

• Candle belgeleri