SGLang

SGLang adalah mesin inferensi berlatensi rendah dan throughput tinggi untuk model bahasa besar (LLM). Ia juga mencakup bahasa frontend untuk membangun alur kerja agen.

Setel model_impl="transformers" untuk memuat backend pemodelan Transformers.

import sglang as sgl

llm = sgl.Engine("meta-llama/Llama-3.2-1B-Instruct", model_impl="transformers")
print(llm.generate(["The capital of France is"], {"max_new_tokens": 20})[0])

Lewatkan --model-impl transformers ke perintah sglang.launch_server untuk penyajian online.

python3 -m sglang.launch_server \
  --model-path meta-llama/Llama-3.2-1B-Instruct \
  --model-impl transformers \
  --host 0.0.0.0 \
  --port 30000

Integrasi Transformers

Menetapkan model_impl="transformers" memberi tahu SGLang untuk melewati pencocokan model natifnya dan menggunakan model Transformers secara langsung.

PreTrainedConfig.from_pretrained() memuat config.json model dari Hub atau cache Hugging Face Anda.
AutoModel.from_config() menyelesaikan kelas model berdasarkan config.
Saat pemuatan, _attn_implementation diatur ke "sglang". Ini mengarahkan panggilan perhatian melalui kernel RadixAttention dari SGLang.
Kelas linear paralel SGLang menggantikan lapisan linear untuk mendukung paralelisme tensor.
Fungsi load_weights mengisi model dengan bobot dari file safetensors.

Model ini memperoleh manfaat dari semua optimasi SGLang sambil menggunakan struktur model Transformers.

Model yang kompatibel memerlukan _supports_attention_backend=True agar SGLang dapat mengontrol eksekusi perhatian. Lihat panduan Membangun backend model yang kompatibel untuk inferensi untuk detailnya.

Sumber daya

Dokumentasi SGLang memiliki lebih banyak contoh penggunaan dan tips untuk menggunakan Transformers sebagai backend.
Artikel blog Integrasi backend Transformers di SGLang menjelaskan apa yang diaktifkan oleh integrasi ini.

Update on GitHub