Instalasi

Transformers bekerja dengan PyTorch. Telah diuji pada Python 3.11+ dan PyTorch 2.6+.

Lingkungan virtual

uv adalah manajer paket dan proyek Python berbasis Rust yang sangat cepat, dan secara default memerlukan virtual environment untuk mengelola berbagai proyek serta menghindari masalah kompatibilitas antar dependensi.

Itu dapat digunakan sebagai pengganti langsung untuk pip, tetapi jika Anda lebih memilih menggunakan pip, hapus uv dari perintah di bawah ini.

Lihat dokumentasi instalasi uv untuk menginstal uv.

Buat lingkungan virtual untuk menginstal Transformers.

uv venv .env
source .env/bin/activate

Python

Install Transformers dengan perintah berikut.

uv adalah manajer paket dan proyek Python berbasis Rust yang cepat.

nvidia-smi

uv pip install "transformers[torch]"

nvidia-smi

uv pip install torch --index-url https://pypi.nvidia.com
uv pip install transformers

uv pip install torch --index-url https://download.pytorch.org/whl/cpu
uv pip install transformers

xpu-smi

uv pip install "transformers[torch]" --extra-index-url https://download.pytorch.org/whl/xpu

Uji apakah instalasi berhasil dengan perintah berikut. Perintah ini seharusnya mengembalikan label dan skor untuk teks yang diberikan.

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('hugging face is the best'))"
[{'label': 'POSITIVE', 'score': 0.9998704791069031}]

Instalasi dari sumber

Menginstal dari sumber menginstal versi terbaru alih-alih versi stabil dari pustaka. Hal ini memastikan Anda memiliki perubahan terbaru di Transformers dan berguna untuk bereksperimen dengan fitur terbaru atau memperbaiki bug yang belum dirilis secara resmi dalam versi stabil.

Kekurangannya adalah bahwa versi terbaru tidak selalu stabil. Jika Anda mengalami masalah, silakan buka GitHub Issue agar kami dapat memperbaikinya secepat mungkin.

Instal dari sumber dengan perintah berikut.

uv pip install git+https://github.com/huggingface/transformers

Periksa apakah instalasi berhasil dengan perintah di bawah. Perintah ini seharusnya mengembalikan label dan skor untuk teks yang diberikan.

python -c "from transformers import pipeline; print(pipeline('sentiment-analysis')('hugging face is the best'))"
[{'label': 'POSITIVE', 'score': 0.9998704791069031}]

Instalasi yang dapat diedit

Instalasi yang dapat diedit berguna jika Anda mengembangkan secara lokal dengan Transformers. Ini menautkan salinan lokal Transformers Anda ke repositori Transformers alih-alih menyalin file. File-file tersebut ditambahkan ke jalur impor Python.

git clone https://github.com/huggingface/transformers.git
cd transformers
uv pip install -e .

Anda harus menyimpan folder Transformers lokal untuk terus menggunakannya.

Perbarui versi lokal Transformers Anda dengan perubahan terbaru di repositori utama menggunakan perintah berikut.

cd ~/transformers/
git pull

conda

conda adalah manajer paket yang tidak bergantung pada bahasa. Instal Transformers dari channel conda-forge di lingkungan virtual yang baru Anda buat.

conda install conda-forge::transformers

Persiapan

Setelah instalasi, Anda dapat mengatur lokasi cache Transformers atau menyiapkan pustaka untuk penggunaan offline.

Direktori cache

Saat Anda memuat model pretrained dengan from_pretrained(), model diunduh dari Hub dan di-cache secara lokal.

Jika Anda meneruskan hash commit, Transformers menggunakan cache lokal untuk file pada commit tersebut dan tidak memeriksa ulang Hub untuk setiap file (termasuk file yang diketahui tidak ada). Ini adalah perilaku default ketika tidak ada revisi yang ditentukan.

Jika Anda meneruskan branch atau tag, Transformers menghubungi Hub sekali di awal proses load untuk memilih commit, lalu menggunakan cache dengan cara yang sama untuk file pada commit tersebut.

Direktori default yang diberikan oleh variabel lingkungan shell HF_HUB_CACHE adalah ~/.cache/huggingface/hub. Di Windows, direktori default adalah C:\Users\username\.cache\huggingface\hub.

Cache model di direktori yang berbeda dengan mengubah path pada variabel lingkungan shell berikut (diurutkan berdasarkan prioritas).

1. HF_HUB_CACHE (default)
2. HF_HOME
3. XDG_CACHE_HOME + /huggingface (hanya jika HF_HOME tidak disetel)

Mode offline

Untuk menggunakan Transformers di lingkungan offline atau yang terisolasi oleh firewall, file yang diunduh dan di-cache harus disiapkan terlebih dahulu. Unduh repositori model dari Hub dengan metode snapshot_download.

Lihat panduan Unduh file dari Hub untuk lebih banyak opsi mengunduh file dari Hub. Anda dapat mengunduh file dari revisi tertentu, mengunduh dari CLI, dan bahkan memfilter file mana yang akan diunduh dari sebuah repositori.

from huggingface_hub import snapshot_download

snapshot_download(repo_id="meta-llama/Llama-2-7b-hf", repo_type="model")

Setel variabel lingkungan HF_HUB_OFFLINE=1 untuk mencegah panggilan HTTP ke Hub saat memuat model.

Opsi lain untuk hanya memuat file yang sudah di-cache adalah dengan mengatur local_files_only=True di from_pretrained().

from transformers import LlamaForCausalLM

model = LlamaForCausalLM.from_pretrained("./path/to/local/directory", local_files_only=True)

Mode offline (atau local_files_only=True) tetap dapat mengubah branch atau tag menjadi commit jika pemetaan tersebut telah disimpan di cache oleh pemuatan online sebelumnya. Jika pemetaan tidak pernah disimpan, Transformers akan mempertahankan branch atau tag yang Anda minta dan melanjutkan dengan pemuatan offline reguler. Anda akan mendapatkan hasil cache yang sama atau error file tidak ditemukan seperti pada pemuatan offline biasa.