emrevrg/Norovox-Alpha

Norovox Alpha

Norovox Alpha, random-init ile eğitilmiş özgün NorovoxAlphaCore mimarisine ve kendi 32k BPE tokenizer'ına sahip deneysel bir Türkçe yapay zekâ çekirdeğidir. Qwen/Llama sınıfı veya başka bir modelin ağırlık kopyası değildir. Güncel kanonik SFT checkpoint'i 151.641.856 parametre ve step 67.740 düzeyindedir.

Önemli: Bu sürüm 8B değildir. Model kartı gerçek checkpoint boyutunu açıkça belirtir; isim veya öğretmen büyüklüğü Norovox'un parametre sayısını değiştirmez.

Frontier entegrasyon zinciri

Öğretmen modellerin ağırlıkları Norovox'a birleştirilmedi. Her aşamada 24 kayıtlık denetlenebilir öğretim kümesi üretildi, 256 replay kaydıyla devam-SFT yapıldı ve yalnız hem frontier hem replay kapısını geçen aday kanonik modele terfi ettirildi.

Sıra	Öğretmen	Adım	Frontier loss	Replay loss	Kapı
1	zai-org/GLM-5.2	66300 → 66540	10.2911 → 3.8648	18.1728 → 0.05944	✅
2	MiniMaxAI/MiniMax-M3	66540 → 66780	4.0731 → 2.0238	0.05944 → 0.01959	✅
3	deepseek-ai/DeepSeek-V4-Flash-0731	66780 → 67020	2.3649 → 1.9939	0.01959 → 0.00739	✅
4	Qwen/Qwen3.6-35B-A3B	67020 → 67260	2.1520 → 1.7496	0.00739 → 0.00608	✅
5	Qwen/Qwen3.6-35B-A3B-FP8	67260 → 67500	1.7298 → 1.5535	0.00608 → 0.00445	✅
6	Qwen/Qwen3.6-27B	67500 → 67620	1.4281 → 1.3112	0.00445 → 0.00422	✅
7	Qwen/Qwen3.6-27B-FP8	67620 → 67740	1.3496 → 1.2954	0.00422 → 0.00421	✅

Ham öğretim verileri, doğrulama raporları ve eğitim metrikleri frontier/<stage>/ altında; her geçen checkpoint checkpoints/ altında sürümlü olarak yayımlanır. norovox_alpha_sft.pt son geçen adayı gösterir.

FP8 depolarının ayrı inference endpoint'i bulunmadığından FP8 aşamaları, aynı temel Qwen açık ağırlığından farklı deterministik örneklemeyle üretilmiş bağımsız veri kümeleri kullanır; bu köken her kaydın usage metadatasında belirtilmiştir. Qwen yerel öğretmen çalıştırmalarında açık GGUF kuantları kullanılmıştır.

Mimari

NorovoxAlphaCore: RoPE + RMSNorm + SwiGLU + GQA + MTP (çok-token başlığı) + kimlik çıpası. Kaynak uygulama norovox_alpha_core.py dosyasındadır.

Kullanım

import torch
from huggingface_hub import hf_hub_download
from norovox_alpha_core import NorovoxAlphaCore, CoreConfig
from tokenizers import Tokenizer

repo = "emrevrg/Norovox-Alpha"
path = hf_hub_download(repo, "norovox_alpha_sft.pt")
ck = torch.load(path, map_location="cpu", weights_only=False)
cfg = CoreConfig(**ck["cfg"])
model = NorovoxAlphaCore(cfg)
model.load_state_dict(ck["model"], strict=True)
model.eval()
tokenizer = Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json"))
print("step", ck["step"], "parameters", sum(p.numel() for p in model.parameters()))

Sınırlar ve doğru yorumlama

• Yukarıdaki loss değerleri aşama içi sabit held-out set ölçümleridir; MMLU, HumanEval veya bağımsız bir standart benchmark değildir.
• Küçük değerlendirme seti tek başına genel yetenek veya frontier-model eşitliği kanıtlamaz.
• Model erken araştırma aşamasındadır; kritik kararlar için insan doğrulaması gerekir.
• Öğretmen yanıtları lisans ve kullanım koşulları gözetilerek denetlenmelidir.

Tanıtım: Norovox

---

Support Norovox

Norovox is built by one 17-year-old high school student in Türkiye: no company, no sponsor, no budget. Every model on this page was trained on free GPU quotas that run out within days. When they run out, training stops halfway and the next, stronger version has to wait, sometimes for a week.

Your support goes directly into GPU time. Even a small contribution lets a training run finish instead of stopping, and helps the Nythos, N1, AUBIN and Norovox Embed models get better faster. Supporters are credited in the model cards and get early access to new releases.

Contact: zgremre@gmail.com · emrevrgdev@gmail.com

_{🇹🇷 Norovox'u Türkiye'de 17 yaşında bir lise öğrencisi tek başına geliştiriyor: şirket yok, sponsor yok, bütçe yok. Buradaki modellerin hepsi birkaç günde biten ücretsiz GPU kotalarıyla eğitildi; kota bitince eğitim yarıda kalıyor ve daha güçlü sürüm bekliyor. Desteğin doğrudan GPU süresine gider; küçük bir katkı bile bir eğitimin yarıda kalmadan tamamlanmasını sağlar. Destekçiler model kartlarında anılır ve yeni sürümlere erken erişir. İletişim: zgremre@gmail.com · emrevrgdev@gmail.com}