# Candle

[Candle](https://github.com/huggingface/candle), Transformers modellerinin yerel Rust uygulamalarını sunan bir makine öğrenmesi çerçevesidir. Transformers modellerini doğrudan yüklemek için [safetensors](https://huggingface.co/docs/safetensors/en/index) formatını yerel olarak destekler.

```rust
/// load model config
let config: Config = 
    serde_json::from_reader(std::fs::File::open(config_filename)?)?;

/// load safetensors and memory-maps them
let vb = unsafe {
    VarBuilder::from_mmaped_safetensors(&filenames, dtype, &device)?
};

/// materialize tensors from VarBuilder into model class
let model = Model::new(args.use_flash_attn, &config, vb)?;
```

## Transformers entegrasyonu

1. [hf-hub](https://github.com/huggingface/hf-hub) crate'ı, bir model için yerel [Hugging Face önbelleğinizi](../installation#cache-directory) kontrol eder. Model orada yoksa, model ağırlıklarını ve yapılandırmalarını Hub'dan indirir.
2. [VarBuilder](https://github.com/huggingface/candle/blob/f526033db7ea880c7189628a2dc00e3e2008a9e7/candle-nn/src/var_builder.rs#L38), safetensor dosyalarını tembel (lazy) olarak yükler. State-dict anahtar adlarını, model katmanlarını temsil eden Rust yapılarına eşler. Bu, Transformers'ın ağırlıklarını nasıl organize ettiğini yansıtır.
3. Candle, model metadata'yi çıkarmak için `config.json` dosyasını ayrıştırır ve `VarBuilder`'deki ağırlıklarla eşleşen Rust model sınıfını örnekler.

## Kaynaklar

- [Candle](https://github.com/huggingface/candle) belgeleri

