Transformers documentation
Falcon3
Bu model, 2024-12-17 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.
Falcon3
Genel Bakış
Falcon3, önceki sürümlerden doğal bir evrim niteliği taşımakta ve modellerin bilim, matematik ve kod yeteneklerini genişletmeye odaklanmaktadır. Bu sürüm, beş temel modeli içermektedir: Falcon3-1B-Base, Falcon3-3B-Base, Falcon3-Mamba-7B-Base, Falcon3-7B-Base ve Falcon3-10B-Base. Bu modellerin geliştirilmesinde, eğitim maliyetlerini azaltırken modellerin performansını iyileştirmeye yönelik çeşitli temel yenilikler benimsenmiştir:
Tek ön eğitim: 7B model üzerinde, web, kod, STEM ve özenle derlenmiş yüksek kaliteli ve çok dilli verilerden oluşan 14 trilyon token kullanarak, 2048 H100 GPU çipiyle tek bir büyük ölçekli ön eğitim çalışması gerçekleştirdik. Daha iyi akıl yürütme için derinlik ölçeklendirmesi: Model derinliğinin etkilerine ilişkin son çalışmalara dayanarak, 7B modeli, yinelenen katmanları kopyalayarak ve 2TT yüksek kaliteli veriyle ön eğitimi sürdürerek 10B parametreli bir modele ölçeklendirdik. Bu, 13B parametrenin altındaki modeller için en iyi sıfır atışlı (zero-shot) ve az atışlı (few-shot) performansı elde eden Falcon3-10B-Base modelini ortaya çıkardı. Daha iyi küçük modeller için bilgi damıtma: Kompakt ve verimli alternatifler sunmak amacıyla, 100GT'den az özenle derlenmiş yüksek kaliteli veri kullanarak budama (pruning) ve bilgi damıtma (knowledge distillation) tekniklerinden faydalanarak Falcon3-1B-Base ve Falcon3-3B-Base modellerini geliştirdik; bu sayede ön eğitim verimliliğini yeniden tanımladık.