---
title: "Apa itu kuantisasi INT4? Bobot LLM 4-bit dijelaskan | BroadRouter"
description: "INT4 menyimpan setiap bobot LLM sebagai integer 4-bit, seperempat ukuran 16-bit. Cara kerja kuantisasi 4-bit khusus bobot, GPTQ dan AWQ, serta risiko kualitasnya."
url: https://broadrouter.com/id/glossary/int4/
lang: id
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/glossary/int4/) (diperbarui 2026-11-16).

# INT4

Diperbarui 2026-11-16

INT4 adalah format bilangan integer 4-bit yang dapat merepresentasikan 16 level. Dalam inferensi LLM, istilah ini biasanya berarti kuantisasi 4-bit khusus bobot (W4A16): bobot disimpan sebagai INT4 dengan faktor skala dan diperluas ke 16-bit saat komputasi, sehingga memakai sekitar seperempat memori bobot 16-bit.

Disebut juga: INT4, kuantisasi 4-bit, integer 4-bit, LLM 4-bit, W4A16, 4-bit quantization, 4-bit integer, INT4 weight-only, 4-bit LLM

INT4 adalah titik ketika kuantisasi menjadi agresif: setiap bobot hanya mendapat 16 kemungkinan nilai.

## Cara kerjanya

Panduan presisi TensorRT-LLM menjelaskan bentuk yang umum, **W4A16**: bobot dikuantisasi ke 4 bit dan didekuantisasi “on-the-fly” (terjemahan: secara langsung saat berjalan) di dalam perkalian matriks, sementara aktivasi tetap di FP16 atau BF16. TensorRT-LLM mendukung faktor skala per grup: setiap grup kecil bobot mendapat skalanya sendiri agar 16 level itu mencakup rentang yang tepat. Contoh INT4 dari vLLM menyimpan checkpoint `W4A16-G128`, satu grup per 128 bobot.

Pembulatan biasa ke 16 level kehilangan terlalu banyak informasi, jadi metode populer melakukannya dengan lebih cerdas:

-   **GPTQ** memakai informasi orde kedua secara aproksimasi untuk memilih pembulatan yang membatasi error output. Makalahnya melaporkan 3 atau 4 bit per bobot dengan penurunan yang dapat diabaikan, cukup untuk menjalankan model 175B di satu GPU.
-   **AWQ** berangkat dari pengamatan bahwa “not all weights in an LLM are equally important.” (terjemahan: tidak semua bobot dalam LLM sama pentingnya.) Melindungi sekitar 1% channel yang menonjol, yang ditemukan dari statistik aktivasi, sangat mengurangi error. Runtime TinyChat-nya melaporkan percepatan lebih dari 3 kali untuk model 4-bit di perangkat.

## Kenapa ini penting

Penghematan memorinya besar. Pada 0,5 byte per bobot, bobot model hanya memakai seperempat ukuran 16-bit-nya. Untuk model 25,2B parameter: 25,2B × 2 byte = 50,4 GB di BF16, dibanding 25,2B × 0,5 byte = 12,6 GB di INT4, ditambah sedikit untuk faktor skala. Kecepatan generasi sering dibatasi oleh seberapa cepat bobot mengalir dari memori, jadi bobot 4-bit juga bisa memangkas [latensi](https://broadrouter.com/id/glossary/latency/). Dokumentasi vLLM menyebut INT4 W4A16 paling berguna untuk menjaga latensi tetap rendah “in workloads with low queries per second” (terjemahan: pada workload dengan query per detik yang rendah). Pada beban tinggi, biaya dekuantisasi bobot menjadi lebih berpengaruh dan keuntungannya menyusut.

Dengan hanya 16 level, error pembulatannya lebih besar daripada [FP8](https://broadrouter.com/id/glossary/fp8/), dan karena itulah GPTQ dan AWQ ada. Skor benchmark rata-rata bisa menyembunyikan penurunan pada tugas yang Anda pedulikan, seperti penalaran panjang, aritmetika eksak, kode, atau bahasa yang kurang umum. Jika build INT4 lebih buruk daripada versi 16-bit pada set uji Anda sendiri, percayai hasil uji Anda.

Model [mixture-of-experts](https://broadrouter.com/id/glossary/mixture-of-experts/) sering menjadi kandidat INT4, karena semua expert harus muat di memori meskipun hanya sedikit yang berjalan per token.

## Di BroadNet Inference

[Katalog model](https://www.broadnet.ai/inference/models) BroadNet menyebut build produksi Gemma 4 26B A4B-nya (ID API `broadnet/gemma-4-26b-a4b`) memakai bobot AWQ 4-bit, dengan multi-token prediction dan KV cache FP8. Itu deskripsi BroadNet sendiri; dokumentasi API tidak menyebutkan presisi model lainnya. Jika Anda memilih antara meng-host sendiri model 4-bit dan memanggil API, [perbandingan biaya self-hosting](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) dan [kalkulator biaya API LLM](https://broadrouter.com/tools/llm-api-cost-calculator/) membantu membandingkan totalnya.

## Pertanyaan umum

### Berapa banyak memori yang dihemat INT4?

Setiap bobot memakai setengah byte, bukan dua byte, jadi sekitar seperempat ukuran 16-bit, ditambah sedikit overhead untuk faktor skala. Bobot model dengan 25,2B parameter turun dari sekitar 50,4 GB menjadi sekitar 12,6 GB.

### Apakah INT4 sama dengan NF4 atau FP4?

Tidak. Ketiganya memakai 4 bit, tetapi NF4 dan FP4 menempatkan 16 levelnya secara tidak merata, sedangkan INT4 menempatkannya dengan jarak yang sama. Integrasi bitsandbytes di Hugging Face menyediakan FP4 dan NF4; checkpoint GPTQ dan AWQ biasanya memakai INT4.

### Apakah INT4 membuat model lebih cepat?

Sering kali pada beban rendah, karena generasi dibatasi oleh pembacaan bobot dari memori dan bobot 4-bit lebih kecil. Dokumentasi vLLM menyebut INT4 W4A16 paling membantu pada workload dengan query per detik yang rendah; di bawah beban berat, keuntungannya menyusut.

## Lihat juga

-   [Kuantisasi (quantization)](https://broadrouter.com/id/glossary/quantization/) (istilah)
-   [FP8](https://broadrouter.com/id/glossary/fp8/) (istilah)
-   [Mixture of experts (MoE)](https://broadrouter.com/id/glossary/mixture-of-experts/) (istilah)
-   [Latensi (latency)](https://broadrouter.com/id/glossary/latency/) (istilah)
-   [AWQ (activation-aware weight quantization)](https://broadrouter.com/id/glossary/awq/) (istilah)
-   [Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/) (panduan)
-   [Self-hosting LLM vs API: biaya sebenarnya dan titik impasnya](https://broadrouter.com/id/blog/self-hosting-llm-vs-api-cost/) (artikel)
-   [Model AI open-weight vs tertutup untuk bisnis: biaya, kontrol, risiko](https://broadrouter.com/id/blog/open-weight-vs-closed-models/) (artikel)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-glossary-int4&utm_content=page-cta) ·

**Sumber**

-   [Katalog model BroadNet (Gemma 4 26B A4B, AWQ 4-bit) (bahasa Inggris)](https://www.broadnet.ai/inference/models)
-   [NVIDIA TensorRT-LLM, presisi numerik (INT4 dan INT8 khusus bobot)](https://nvidia.github.io/TensorRT-LLM/reference/precision.html)
-   [Lin dkk., AWQ, Activation-aware Weight Quantization, arXiv 2306.00978](https://arxiv.org/abs/2306.00978)
-   [Frantar dkk., GPTQ, arXiv 2210.17323](https://arxiv.org/abs/2210.17323)
-   [Dokumentasi vLLM, kuantisasi INT4 W4A16](https://docs.vllm.ai/en/latest/features/quantization/llm_compressor/int4/)
-   [Dokumentasi Hugging Face Transformers, bitsandbytes (tipe 4-bit NF4 dan FP4) (diperiksa 2026-11-16)](https://huggingface.co/docs/transformers/main/en/quantization/bitsandbytes)
