# XLM-V

## Ikhtisar

XLM-V adalah model bahasa multibahasa dengan kosakata satu juta token yang dilatih pada 2,5TB data dari Common Crawl (sama seperti XLM-R). Model ini diperkenalkan dalam makalah [XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models](https://huggingface.co/papers/2301.10472) oleh Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer, dan Madian Khabsa.

Dari abstrak paper XLM-V:

*Model bahasa multibahasa berskala besar umumnya bergantung pada satu kosakata tunggal yang dibagikan di antara 100+ bahasa. Seiring bertambahnya jumlah parameter dan kedalaman model-model ini, ukuran kosakata tetap tidak banyak berubah. Batasan kosakata ini membatasi kemampuan representasi model multibahasa seperti XLM-R. Dalam makalah ini, kami memperkenalkan pendekatan baru untuk memperluas ke kosakata multibahasa yang sangat besar dengan mengurangi penekanan pada berbagi token di antara bahasa-bahasa yang memiliki tumpang tindih leksikal sedikit, serta mengalokasikan kapasitas kosakata untuk mencapai cakupan yang memadai untuk setiap bahasa secara individual. Tokenisasi menggunakan kosakata kami umumnya lebih bermakna secara semantik dan lebih pendek dibandingkan XLM-R. Dengan memanfaatkan kosakata yang ditingkatkan ini, kami melatih XLM-V, sebuah model bahasa multibahasa dengan kosakata satu juta token. XLM-V melampaui XLM-R pada setiap tugas yang kami uji, mulai dari penalaran bahasa alami (XNLI), penjawaban pertanyaan (MLQA, XQuAD, TyDiQA), dan pengenalan entitas bernama (WikiAnn) hingga tugas sumber daya rendah (Americas NLI, MasakhaNER).*

Model ini disumbangkan oleh [stefan-it](https://huggingface.co/stefan-it), termasuk eksperimen terperinci dengan XLM-V pada tugas turunan. Repositori eksperimen dapat ditemukan [di sini](https://github.com/stefan-it/xlm-v-experiments).

## Tips penggunaan

- XLM-V kompatibel dengan arsitektur model XLM-RoBERTa, hanya bobot model dari pustaka [`fairseq`](https://github.com/facebookresearch/fairseq) yang perlu dikonversi.
- Implementasi `XLMTokenizer` digunakan untuk memuat vocab dan melakukan tokenisasi.

Model XLM-V (ukuran dasar) tersedia di bawah identifikasi [`facebook/xlm-v-base`](https://huggingface.co/facebook/xlm-v-base).

Arsitektur XLM-V sama dengan XLM-RoBERTa, silakan merujuk ke [dokumentasi XLM-RoBERTa](xlm-roberta) untuk referensi API dan contoh.