Penggunaan GGUF dengan llama.cpp

Anda sekarang dapat mendeploy GGUF yang kompatibel dengan llama.cpp apa pun di Hugging Face Endpoints, baca lebih lanjut tentang hal ini di sini

Llama.cpp memungkinkan Anda mengunduh dan menjalankan inferensi pada GGUF cukup dengan menyediakan path ke repo Hugging Face dan nama file. llama.cpp mengunduh checkpoint model dan secara otomatis menyimpannya di cache. Lokasi cache didefinisikan oleh variabel lingkungan LLAMA_CACHE; baca lebih lanjut tentang hal ini di sini.

Anda dapat menginstal llama.cpp menggunakan installer di macOS dan Linux, melalui WinGet di Windows, atau membangunnya dari sumber. Lihat dokumentasi resmi untuk opsi instalasi lainnya, termasuk Docker.

Opsi 1: Instal llama.cpp

Pada macOS dan Linux:

curl -LsSf https://llama.app/install.sh | sh

Sebagai alternatif, instal dengan Homebrew:

brew install llama.cpp

Di Windows, gunakan WinGet:

winget install llama.cpp

Opsi 2: bangun dari sumber

Langkah 1: Clone llama.cpp dari GitHub.

git clone https://github.com/ggml-org/llama.cpp.git

Langkah 2: Pindah ke folder llama.cpp dan bangun (build) proyeknya. Anda juga dapat menambahkan flag yang spesifik untuk perangkat keras (misalnya: -DGGML_CUDA=1 untuk GPU Nvidia).

cd llama.cpp
cmake -B build   # optionally, add -DGGML_CUDA=ON to activate CUDA
cmake --build build --config Release -j --target llama-app

Catatan: untuk dukungan perangkat keras lainnya (misalnya: AMD ROCm, Intel SYCL), silakan merujuk ke panduan build llama.cpp

Jika Anda membangun dari sumber, gunakan ./build/bin/llama sebagai pengganti llama dalam perintah di bawah ini.

Setelah terinstal, Anda dapat menggunakan llama cli atau llama serve sebagai berikut:

llama cli -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

Catatan: Untuk mode penyelesaian mentah (mode non-chat), gunakan llama completion dengan -no-cnv alih-alih llama cli.

Selain itu, Anda dapat memanggil endpoint chat completions spesifikasi OpenAI secara langsung menggunakan server llama.cpp:

llama serve -hf bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0 --port 8080

Setelah menjalankan server, Anda dapat menggunakan endpoint sebagai berikut:

curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer no-key" \
-d '{
"messages": [
    {
        "role": "system",
        "content": "You are an AI assistant. Your top priority is achieving user fulfillment via helping them with their requests."
    },
    {
        "role": "user",
        "content": "Write a limerick about Python exceptions"
    }
  ]
}'

Ganti -hf dengan nama repo Hugging Face hub yang valid - silakan! 🦙