Qwen3-0.6B Mooré (base)
Qwen3-0.6B-Base adapté au mooré par extension du vocabulaire et pré-entraînement continu, avec dioula, fulfuldé et gulmancema. C'est un modèle de complétion de texte, pas un modèle de conversation : il sert de point de départ pour un affinage. La version conversationnelle est ouilyh/qwen3-0.6b-moore-instruct. Qwen3-0.6B-Base adapted to Mooré (Mossi, Burkina Faso) — English summary below.
Utilisation
from transformers import AutoModelForCausalLM, AutoTokenizer
nom = "ouilyh/qwen3-0.6b-moore-base"
tok = AutoTokenizer.from_pretrained(nom)
modele = AutoModelForCausalLM.from_pretrained(nom, dtype="auto", device_map="auto")
x = tok("Ministr-dãmbã tigsgã maana", return_tensors="pt").to(modele.device)
print(tok.decode(modele.generate(**x, max_new_tokens=60, repetition_penalty=1.2)[0]))
Format vu pendant l'entraînement pour la traduction (utile en few-shot) :
Français : <texte>\nMooré : <traduction>.
Résultats
Bits par octet sur des textes mis de côté (plus bas = mieux ; comparable entre tokenizers) :
| Qwen3-0.6B-Base | Ce modèle | |
|---|---|---|
| Mooré | 2,55 | 1,17 |
| Dioula | 2,24 | 1,01 |
| Fulfuldé | 2,46 | 1,23 |
| Gulmancema | 2,14 | 1,06 |
| Français | 1,12 | 1,03 |
| Mooré courant (dialogues, récits traduits par des humains) | 2,98 | 2,28 |
Les textes d'évaluation ressemblent au corpus d'entraînement (web, Wikipédia, textes administratifs). Sur du mooré courant, le gain est réel mais plus modeste (dernière ligne).
Méthode
- Vocabulaire : +16 000 tokens mooré ajoutés après ceux de Qwen3, par des fusions BPE apprises par-dessus le découpage d'origine. Le découpage d'un texte français ou de code est quasi inchangé ; un mot mooré coûte 1,40 token au lieu de 2,40. Les nouveaux embeddings sont initialisés à la moyenne des tokens qui les composent.
- Phase 0 (6,5 M de tokens) : seuls les embeddings des nouveaux tokens apprennent, le reste est gelé. Le français est présent dès cette phase, car les embeddings d'entrée et de sortie sont partagés.
- Phase 1 (65 M de tokens) : tous les paramètres, lr 3e-5 (1e-4 pour les embeddings), planning WSD.
| Données | Tokens disponibles | Part du mélange (phase 1) |
|---|---|---|
| Mooré : FineWeb-2, Wikipédia, Conseil des ministres, MAFAND, SMOL | 4,7 M | 25 % |
| Dioula | 4,2 M | 11 % |
| Fulfuldé | 2,4 M | 7 % |
| Gulmancema | 2,2 M | 5 % |
| Paires de traduction (fr/en ↔ langues locales) | 3,4 M | 6 % |
| Français (FineWeb-2, Conseil des ministres) | 80 M | 40 % |
| Anglais (FineWeb-Edu) | 11 M | 6 % |
Corpus nettoyé : identification de langue (GlotLID), retrait du français et de l'anglais résiduels, normalisation orthographique (ɩ, ʋ, ɛ…), filtres de qualité, dédoublonnage MinHash, décontamination des jeux d'évaluation. Matériel : RTX 5080 portable (16 Go), ~3 h.
Limites
Pas validé par des locuteurs natifs ; corpus mooré dominé par des textes religieux et administratifs ; contexte entraîné sur 2 048 tokens ; invente des faits.
Licence
CC-BY-NC 4.0, à cause de MAFAND (CC-BY-NC) parmi les données. Autres sources : FineWeb-2, FineWeb-Edu, MADLAD-400 (ODC-By), GlotCC (CC0), Wikipédia (CC-BY-SA), SMOL (CC-BY), Bibles redistribuables d'eBible (licences par traduction), comptes rendus publics du Gouvernement du Burkina Faso. Qwen3 : Apache 2.0.
English summary
Qwen3-0.6B-Base with a Mooré-extended vocabulary (+16k tokens, 1.40 vs 2.40 tokens per Mooré word) and continued pretraining on 72 M tokens (Mooré, Dyula, Fulfulde, Gulmancema, translation pairs, French/English replay). Held-out bits-per-byte: Mooré 2.55 → 1.17, French 1.12 → 1.03. Base (completion) model intended for further fine-tuning; non-commercial license (CC-BY-NC 4.0).
- Downloads last month
- 245