Model ini dipublikasikan di HF papers pada 2023-01-25 dan disumbangkan ke Hugging Face Transformers pada 2023-06-20.

XLM-V

Ikhtisar

XLM-V adalah model bahasa multibahasa dengan kosakata satu juta token yang dilatih pada 2,5TB data dari Common Crawl (sama seperti XLM-R). Model ini diperkenalkan dalam makalah XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models oleh Davis Liang, Hila Gonen, Yuning Mao, Rui Hou, Naman Goyal, Marjan Ghazvininejad, Luke Zettlemoyer, dan Madian Khabsa.

Dari abstrak paper XLM-V:

Model bahasa multibahasa berskala besar umumnya bergantung pada satu kosakata tunggal yang dibagikan di antara lebih dari 100 bahasa. Seiring bertambahnya jumlah parameter dan kedalaman model-model ini, ukuran kosakata tetap tidak banyak berubah. Bottleneck kosakata ini membatasi kemampuan representasi model multibahasa seperti XLM-R. Dalam makalah ini, kami memperkenalkan pendekatan baru untuk menskalakan ke kosakata multibahasa yang sangat besar dengan mengurangi penekanan pada berbagi token antar bahasa yang memiliki tumpang tindih leksikal sedikit, serta mengalokasikan kapasitas kosakata untuk mencapai cakupan yang memadai bagi setiap bahasa secara individual. Tokenisasi yang menggunakan kosakata kami umumnya lebih bermakna secara semantik dan lebih pendek dibandingkan XLM-R. Dengan memanfaatkan kosakata yang ditingkatkan ini, kami melatih XLM-V, sebuah model bahasa multibahasa dengan kosakata satu juta token. XLM-V melampaui XLM-R pada setiap tugas yang kami uji, mulai dari penalaran bahasa alami (XNLI), penjawab pertanyaan (MLQA, XQuAD, TyDiQA), dan pengenalan entitas bernama (WikiAnn) hingga tugas beresourserendah (Americas NLI, MasakhaNER).

Model ini disumbangkan oleh stefan-it, termasuk eksperimen terperinci dengan XLM-V pada tugas turunan. Repositori eksperimen dapat ditemukan di sini.

Tips penggunaan

• XLM-V kompatibel dengan arsitektur model XLM-RoBERTa, hanya bobot model dari pustaka fairseq yang perlu dikonversi.
• Implementasi XLMTokenizer digunakan untuk memuat vocab dan melakukan tokenisasi.

Model XLM-V (ukuran dasar) tersedia di bawah identifikasi facebook/xlm-v-base.

Arsitektur XLM-V sama dengan XLM-RoBERTa, silakan merujuk ke dokumentasi XLM-RoBERTa untuk referensi API dan contoh.