Model ini dipublikasikan di HF papers pada 2025-08-08 dan disumbangkan ke Hugging Face Transformers pada 2025-07-21.

GLM-4.5, GLM-4.6, GLM-4.7

Ikhtisar

Model bahasa GLM-4.7, GLM-4.6, dan GLM-4.5 menggunakan kelas ini. Implementasi di transformers tidak menyertakan lapisan MTP.

GLM-4.7

GLM-4.7, mitra coding baru Anda, segera hadir dengan fitur-fitur berikut:

• Pemrograman Inti: GLM-4.7 membawa peningkatan yang jelas, dibandingkan dengan pendahulunya GLM-4.6, dalam pemrograman agen multibahasa dan tugas berbasis terminal, termasuk (73,8%, +5,8%) pada SWE-bench, (66,7%, +12,9%) pada SWE-bench Multilingual, dan (41%, +16,5%) pada Terminal Bench 2.0. GLM-4.7 juga mendukung berpikir sebelum bertindak, dengan peningkatan signifikan pada tugas-tugas kompleks di kerangka kerja agen arus utama seperti Claude Code, Kilo Code, Cline, dan Roo Code.
• Vibe Coding: GLM-4.7 melangkah maju secara signifikan dalam meningkatkan kualitas UI. Model ini menghasilkan halaman web yang lebih bersih dan modern, serta membuat slide yang lebih menarik dengan tata letak dan ukuran yang lebih akurat.
• Penggunaan Alat: GLM-4.7 mencapai peningkatan signifikan dalam penggunaan alat. Performa yang jauh lebih baik dapat dilihat pada benchmark seperti τ^2-Bench dan pada penelusuran web melalui BrowseComp.
• Penalaran Kompleks: GLM-4.7 memberikan peningkatan signifikan pada kemampuan matematika dan penalaran, mencapai (42,8%, +12,4%) pada benchmark HLE (Humanity’s Last Exam) dibandingkan dengan GLM-4.6.

Secara lebih umum, peningkatan signifikan juga akan terlihat dalam banyak skenario lain, seperti percakapan, penulisan kreatif, dan skenario bermain peran.

Pemikiran Berselang & Pemikiran yang Dipertahankan

GLM-4.7 semakin meningkatkan Interleaved Thinking (fitur yang diperkenalkan sejak GLM-4.5) dan memperkenalkan Preserved Thinking serta Turn-level Thinking. Dengan berpikir di antara aksi dan tetap konsisten di setiap giliran, tugas-tugas kompleks menjadi lebih stabil dan lebih mudah dikendalikan:

• Pemikiran Bergantian: Model berpikir sebelum setiap respons dan pemanggilan alat, meningkatkan kepatuhan instruksi dan kualitas generasi.
• Pemikiran yang Dipertahankan: Dalam skenario agen coding, model secara otomatis mempertahankan semua blok pemikiran di sepanjang percakapan multi-turn, dengan memanfaatkan penalaran yang sudah ada alih-alih menurunkannya ulang dari awal. Hal ini mengurangi hilangnya informasi dan inkonsistensi, serta sangat cocok untuk tugas-tugas kompleks dengan cakupan waktu yang panjang.
• Pemikiran per Tingkat Giliran: Model mendukung kontrol per giliran atas penalaran dalam sesi—nonaktifkan pemikiran untuk permintaan ringan guna mengurangi latensi/biaya, aktifkan untuk tugas kompleks guna meningkatkan akurasi dan stabilitas.

Detail lebih lanjut: https://docs.z.ai/guides/capabilities/thinking-mode

Untuk hasil evaluasi, studi kasus, dan detail teknis lainnya, silakan kunjungi blog teknis GLM-4.7.

GLM-4.6

Dibandingkan dengan GLM-4.5, GLM-4.6 membawa beberapa peningkatan utama:

• Jendela konteks lebih panjang: Jendela konteks telah diperluas dari 128K menjadi 200K token, memungkinkan model untuk menangani tugas agentic yang lebih kompleks.
• Kinerja pemrograman yang unggul: Model ini mencapai skor yang lebih tinggi pada benchmark kode dan menunjukkan kinerja dunia nyata yang lebih baik dalam aplikasi seperti Claude Code、Cline、Roo Code dan Kilo Code, termasuk peningkatan dalam menghasilkan halaman front-end yang secara visual lebih rapi.
• Penalaran lanjutan: GLM-4.6 menunjukkan peningkatan yang jelas dalam kinerja penalaran dan mendukung penggunaan alat selama inferensi, sehingga menghasilkan kemampuan keseluruhan yang lebih kuat.
• Agen yang lebih mumpuni: GLM-4.6 menunjukkan performa yang lebih kuat dalam agen berbasis penggunaan alat dan pencarian, serta terintegrasi secara lebih efektif dalam kerangka kerja agen.
• Penulisan yang disempurnakan: Lebih selaras dengan preferensi manusia dalam hal gaya dan keterbacaan, serta berperilaku lebih alami dalam skenario role-playing.

Kami mengevaluasi GLM-4.6 di delapan benchmark publik yang mencakup agen, penalaran, dan pemrograman. Hasilnya menunjukkan peningkatan yang jelas dibandingkan GLM-4.5, dengan GLM-4.6 juga mempertahankan keunggulan kompetitif dibandingkan model-model terkemuka domestik dan internasional seperti DeepSeek-V3.1-Terminus dan Claude Sonnet 4.

Untuk hasil evaluasi, studi kasus, dan detail teknis lainnya, silakan kunjungi blog teknis GLM-4.6.

GLM-4.5

Model seri GLM-4.5 adalah model fondasi yang dirancang untuk agen cerdas, dan varian MoE didokumentasikan di sini sebagai Glm4Moe.

GLM-4.5 memiliki total 355 miliar parameter dengan 32 miliar parameter aktif, sedangkan GLM-4.5-Air mengadopsi desain yang lebih ringkas dengan total 106 miliar parameter dan 12 miliar parameter aktif. Model GLM-4.5 menyatukan kemampuan penalaran, pemrograman, dan agen cerdas untuk memenuhi tuntutan kompleks dari aplikasi agen cerdas.

Baik GLM-4.5 maupun GLM-4.5-Air adalah model penalaran hibrida yang menyediakan dua mode: mode berpikir untuk penalaran kompleks dan penggunaan alat, serta mode non-berpikir untuk respons langsung.

Kami telah membuka sumber model dasar, model penalaran hibrida, dan versi FP8 dari model penalaran hibrida untuk GLM-4.5 dan GLM-4.5-Air. Model-model ini dirilis di bawah lisensi open-source MIT dan dapat digunakan secara komersial maupun untuk pengembangan sekunder.

Seperti yang ditunjukkan dalam evaluasi komprehensif kami di 12 benchmark standar industri, GLM-4.5 mencapai kinerja luar biasa dengan skor 63.2, menempati peringkat ke-3 di antara semua model proprietary dan open-source. Secara khusus, GLM-4.5-Air memberikan hasil yang kompetitif di 59.8 sambil mempertahankan efisiensi yang unggul.

Untuk hasil evaluasi, studi kasus, dan detail teknis lainnya, silakan kunjungi laporan teknis atau blog teknis kami.

Kode model, parser alat, dan parser penalaran dapat ditemukan dalam implementasi transformers, vLLM, dan SGLang.

Glm4MoeConfig

>>> from transformers import Glm4MoeModel, Glm4MoeConfig

>>> # Initializing a Glm4Moe style configuration
>>> configuration = Glm4MoeConfig()

>>> # Initializing a model from the GLM-4-MOE-100B-A10B style configuration
>>> model = Glm4MoeModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

Glm4MoeModel

Glm4MoeForCausalLM

>>> from transformers import AutoTokenizer, Glm4MoeForCausalLM

>>> model = Glm4MoeForCausalLM.from_pretrained("meta-glm4_moe/Glm4Moe-2-7b-hf")
>>> tokenizer = AutoTokenizer.from_pretrained("meta-glm4_moe/Glm4Moe-2-7b-hf")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."