BroadRouter
Mulai

INT4

Diperbarui

INT4 adalah format bilangan integer 4-bit yang dapat merepresentasikan 16 level. Dalam inferensi LLM, istilah ini biasanya berarti kuantisasi 4-bit khusus bobot (W4A16): bobot disimpan sebagai INT4 dengan faktor skala dan diperluas ke 16-bit saat komputasi, sehingga memakai sekitar seperempat memori bobot 16-bit.

Disebut juga: INT4, kuantisasi 4-bit, integer 4-bit, LLM 4-bit, W4A16, 4-bit quantization, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 adalah titik ketika kuantisasi menjadi agresif: setiap bobot hanya mendapat 16 kemungkinan nilai.

Cara kerjanya

Panduan presisi TensorRT-LLM menjelaskan bentuk yang umum, W4A16: bobot dikuantisasi ke 4 bit dan didekuantisasi “on-the-fly” (terjemahan: secara langsung saat berjalan) di dalam perkalian matriks, sementara aktivasi tetap di FP16 atau BF16. TensorRT-LLM mendukung faktor skala per grup: setiap grup kecil bobot mendapat skalanya sendiri agar 16 level itu mencakup rentang yang tepat. Contoh INT4 dari vLLM menyimpan checkpoint W4A16-G128, satu grup per 128 bobot.

Pembulatan biasa ke 16 level kehilangan terlalu banyak informasi, jadi metode populer melakukannya dengan lebih cerdas:

  • GPTQ memakai informasi orde kedua secara aproksimasi untuk memilih pembulatan yang membatasi error output. Makalahnya melaporkan 3 atau 4 bit per bobot dengan penurunan yang dapat diabaikan, cukup untuk menjalankan model 175B di satu GPU.
  • AWQ berangkat dari pengamatan bahwa “not all weights in an LLM are equally important.” (terjemahan: tidak semua bobot dalam LLM sama pentingnya.) Melindungi sekitar 1% channel yang menonjol, yang ditemukan dari statistik aktivasi, sangat mengurangi error. Runtime TinyChat-nya melaporkan percepatan lebih dari 3 kali untuk model 4-bit di perangkat.

Kenapa ini penting

Penghematan memorinya besar. Pada 0,5 byte per bobot, bobot model hanya memakai seperempat ukuran 16-bit-nya. Untuk model 25,2B parameter: 25,2B × 2 byte = 50,4 GB di BF16, dibanding 25,2B × 0,5 byte = 12,6 GB di INT4, ditambah sedikit untuk faktor skala. Kecepatan generasi sering dibatasi oleh seberapa cepat bobot mengalir dari memori, jadi bobot 4-bit juga bisa memangkas latensi. Dokumentasi vLLM menyebut INT4 W4A16 paling berguna untuk menjaga latensi tetap rendah “in workloads with low queries per second” (terjemahan: pada workload dengan query per detik yang rendah). Pada beban tinggi, biaya dekuantisasi bobot menjadi lebih berpengaruh dan keuntungannya menyusut.

Dengan hanya 16 level, error pembulatannya lebih besar daripada FP8, dan karena itulah GPTQ dan AWQ ada. Skor benchmark rata-rata bisa menyembunyikan penurunan pada tugas yang Anda pedulikan, seperti penalaran panjang, aritmetika eksak, kode, atau bahasa yang kurang umum. Jika build INT4 lebih buruk daripada versi 16-bit pada set uji Anda sendiri, percayai hasil uji Anda.

Model mixture-of-experts sering menjadi kandidat INT4, karena semua expert harus muat di memori meskipun hanya sedikit yang berjalan per token.

Di BroadNet Inference

Katalog model BroadNet menyebut build produksi Gemma 4 26B A4B-nya (ID API broadnet/gemma-4-26b-a4b) memakai bobot AWQ 4-bit, dengan multi-token prediction dan KV cache FP8. Itu deskripsi BroadNet sendiri; dokumentasi API tidak menyebutkan presisi model lainnya. Jika Anda memilih antara meng-host sendiri model 4-bit dan memanggil API, perbandingan biaya self-hosting dan kalkulator biaya API LLM membantu membandingkan totalnya.

Pertanyaan umum

Berapa banyak memori yang dihemat INT4?

Setiap bobot memakai setengah byte, bukan dua byte, jadi sekitar seperempat ukuran 16-bit, ditambah sedikit overhead untuk faktor skala. Bobot model dengan 25,2B parameter turun dari sekitar 50,4 GB menjadi sekitar 12,6 GB.

Apakah INT4 sama dengan NF4 atau FP4?

Tidak. Ketiganya memakai 4 bit, tetapi NF4 dan FP4 menempatkan 16 levelnya secara tidak merata, sedangkan INT4 menempatkannya dengan jarak yang sama. Integrasi bitsandbytes di Hugging Face menyediakan FP4 dan NF4; checkpoint GPTQ dan AWQ biasanya memakai INT4.

Apakah INT4 membuat model lebih cepat?

Sering kali pada beban rendah, karena generasi dibatasi oleh pembacaan bobot dari memori dan bobot 4-bit lebih kecil. Dokumentasi vLLM menyebut INT4 W4A16 paling membantu pada workload dengan query per detik yang rendah; di bawah beban berat, keuntungannya menyusut.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity