INT4 adalah titik ketika kuantisasi menjadi agresif: setiap bobot hanya mendapat 16 kemungkinan nilai.
Cara kerjanya
Panduan presisi TensorRT-LLM menjelaskan bentuk yang umum, W4A16: bobot dikuantisasi ke 4 bit dan didekuantisasi “on-the-fly” (terjemahan: secara langsung saat berjalan) di dalam perkalian matriks, sementara aktivasi tetap di FP16 atau BF16. TensorRT-LLM mendukung faktor skala per grup: setiap grup kecil bobot mendapat skalanya sendiri agar 16 level itu mencakup rentang yang tepat. Contoh INT4 dari vLLM menyimpan checkpoint W4A16-G128, satu grup per 128 bobot.
Pembulatan biasa ke 16 level kehilangan terlalu banyak informasi, jadi metode populer melakukannya dengan lebih cerdas:
- GPTQ memakai informasi orde kedua secara aproksimasi untuk memilih pembulatan yang membatasi error output. Makalahnya melaporkan 3 atau 4 bit per bobot dengan penurunan yang dapat diabaikan, cukup untuk menjalankan model 175B di satu GPU.
- AWQ berangkat dari pengamatan bahwa “not all weights in an LLM are equally important.” (terjemahan: tidak semua bobot dalam LLM sama pentingnya.) Melindungi sekitar 1% channel yang menonjol, yang ditemukan dari statistik aktivasi, sangat mengurangi error. Runtime TinyChat-nya melaporkan percepatan lebih dari 3 kali untuk model 4-bit di perangkat.
Kenapa ini penting
Penghematan memorinya besar. Pada 0,5 byte per bobot, bobot model hanya memakai seperempat ukuran 16-bit-nya. Untuk model 25,2B parameter: 25,2B × 2 byte = 50,4 GB di BF16, dibanding 25,2B × 0,5 byte = 12,6 GB di INT4, ditambah sedikit untuk faktor skala. Kecepatan generasi sering dibatasi oleh seberapa cepat bobot mengalir dari memori, jadi bobot 4-bit juga bisa memangkas latensi. Dokumentasi vLLM menyebut INT4 W4A16 paling berguna untuk menjaga latensi tetap rendah “in workloads with low queries per second” (terjemahan: pada workload dengan query per detik yang rendah). Pada beban tinggi, biaya dekuantisasi bobot menjadi lebih berpengaruh dan keuntungannya menyusut.
Dengan hanya 16 level, error pembulatannya lebih besar daripada FP8, dan karena itulah GPTQ dan AWQ ada. Skor benchmark rata-rata bisa menyembunyikan penurunan pada tugas yang Anda pedulikan, seperti penalaran panjang, aritmetika eksak, kode, atau bahasa yang kurang umum. Jika build INT4 lebih buruk daripada versi 16-bit pada set uji Anda sendiri, percayai hasil uji Anda.
Model mixture-of-experts sering menjadi kandidat INT4, karena semua expert harus muat di memori meskipun hanya sedikit yang berjalan per token.
Di BroadNet Inference
Katalog model BroadNet menyebut build produksi Gemma 4 26B A4B-nya (ID API broadnet/gemma-4-26b-a4b) memakai bobot AWQ 4-bit, dengan multi-token prediction dan KV cache FP8. Itu deskripsi BroadNet sendiri; dokumentasi API tidak menyebutkan presisi model lainnya. Jika Anda memilih antara meng-host sendiri model 4-bit dan memanggil API, perbandingan biaya self-hosting dan kalkulator biaya API LLM membantu membandingkan totalnya.