Menggunakan Adapters di Hugging Face

Catatan: Adapters telah menggantikan pustaka adapter-transformers dan sepenuhnya kompatibel dalam hal bobot model. Lihat di sini untuk informasi lebih lanjut.

Adapters adalah pustaka tambahan untuk 🤗 transformers untuk fine-tuning model bahasa yang telah dilatih sebelumnya secara efisien menggunakan adapters dan metode parameter-efisien lainnya. Adapters juga menyediakan berbagai metode untuk komposisi modul adapter selama pelatihan dan inferensi. Anda dapat mempelajari lebih lanjut tentang hal ini di Adapters paper.

Menjelajahi Adapter di Hub

Anda dapat menemukan model Adapters dengan memfilter di sisi kiri halaman model. Beberapa model adapter dapat ditemukan di repository Adapter Hub. Model dari kedua sumber tersebut dikumpulkan di situs web AdapterHub.

Instalasi

Untuk memulai, Anda dapat merujuk pada panduan instalasi AdapterHub. Anda juga dapat menggunakan instalasi satu baris berikut melalui pip:

pip install adapters

Menggunakan model yang sudah ada

Untuk panduan lengkap tentang memuat adapter yang telah dilatih sebelumnya, kami menyarankan untuk melihat panduan resmi.

Sebagai ringkasan singkat, pengaturan lengkap terdiri dari tiga langkah:

1. Muat model dasar transformers dengan kelas AutoAdapterModel yang disediakan oleh Adapters.
2. Gunakan metode load_adapter() untuk memuat dan menambahkan adapter.
3. Aktifkan adapter melalui active_adapters (untuk inferensi) atau aktifkan dan atur sebagai dapat dilatih melalui train_adapter() (untuk pelatihan). Pastikan juga untuk melihat komposisi adapter.

from adapters import AutoAdapterModel

# 1.
model = AutoAdapterModel.from_pretrained("FacebookAI/roberta-base")
# 2.
adapter_name = model.load_adapter("AdapterHub/roberta-base-pf-imdb")
# 3.
model.active_adapters = adapter_name
# or model.train_adapter(adapter_name)

Anda juga dapat menggunakan list_adapters untuk menemukan semua model adapter secara programatik:

from adapters import list_adapters

# source can be "ah" (AdapterHub), "hf" (hf.co) or None (for both, default)
adapter_infos = list_adapters(source="hf", model_name="FacebookAI/roberta-base")

Jika Anda ingin melihat cara memuat model tertentu, Anda dapat mengklik Use in Adapters dan Anda akan diberikan potongan kode yang berfungsi untuk memuatnya!

Berbagi model Anda

Untuk panduan lengkap tentang berbagi model dengan Adapters, kami menyarankan untuk melihat panduan resmi.

Anda dapat membagikan adapter Anda dengan menggunakan metode push_adapter_to_hub dari model yang sudah berisi adapter.

model.push_adapter_to_hub(
    "my-awesome-adapter",
    "awesome_adapter",
    adapterhub_tag="sentiment/imdb",
    datasets_tag="imdb"
)

Perintah ini membuat repositori dengan kartu model yang dihasilkan secara otomatis dan semua metadata yang diperlukan.

Sumber daya tambahan

• Adapters repository
• Adapters dokumen
• Adapters makalah
• Integrasi dengan dokumentasi Hub