BroadRouter
Mulai

Keamanan kunci API LLM: penyimpanan, rotasi, dan IP allow-list

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan · Diperbarui

Simpan kunci API LLM di secret manager, jangan pernah di kode atau browser. Beri tiap aplikasi atau agen kuncinya sendiri, rotasi secara terjadwal, dan kunci ke server Anda dengan IP allow-list. Menurut BroadNet Inference, allow-list-nya menampung 32 entri, pencabutan menghentikan permintaan baru dalam lima detik, dan kunci berlaku satu tahun.

Untuk mengamankan kunci API LLM, simpan di secret manager dan panggil model hanya dari server Anda, jangan pernah dari browser atau aplikasi. Beri tiap workload kuncinya sendiri, rotasi kunci secara terjadwal, kunci ke IP server Anda dengan allow-list, dan cabut kunci yang bocor lebih dulu, baru selidiki kemudian.

Artikel ini membahas kebiasaan yang menjaga kunci tetap aman, beserta kontrol spesifik yang disediakan BroadNet Inference. Untuk langkah klik demi klik di portal, lihat panduan kunci API dan IP allow-list; untuk anggaran dan perlindungan dari loop yang lepas kendali, lihat kontrol pengeluaran API LLM.

Di mana sebaiknya kunci API LLM disimpan?

Simpan kunci di secret manager atau fitur secret terenkripsi platform Anda, jangan pernah di kode. OWASP Secrets Management Cheat Sheet membahas pilihannya secara mendalam. Perhatikan peringatannya: environment variable “are generally accessible to all processes and may be included in logs or system dumps” (Terjemahan BroadRouter: “umumnya dapat diakses oleh semua proses dan bisa ikut tercatat di log atau dump sistem”), sehingga OWASP lebih menyukai file secret yang di-mount atau mengambil secret dari secret store bila Anda punya pilihan. Environment variable yang diisi dari secret manager saat start-up adalah jalan tengah yang umum.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],  # fails loudly if missing
)

Gunakan os.environ[...], bukan os.getenv(...) dengan nilai cadangan yang di-hard-code; nilai cadangan seperti itulah yang membuat kunci berakhir di Git. Untuk pengembangan lokal, file .env tidak masalah asalkan sudah ada di .gitignore sejak commit pertama. Aktifkan secret scanning dan push protection di host Git Anda. Di GitHub, push protection memblokir push yang berisi format secret yang dikenal sebelum sampai ke repositori; push protection untuk pengguna aktif secara default, tetapi push protection tingkat repositori nonaktif secara default dan harus diaktifkan oleh administrator repositori atau pemilik organisasi.

Bolehkah kunci API dipasang di browser atau aplikasi mobile?

Tidak. Apa pun yang dikirim ke klien bisa diekstrak. Kode front-end dan bundle aplikasi bersifat publik, seberapa pun di-minify atau di-obfuscate. Panggil LLM dari server Anda, autentikasi pengguna Anda di sana, dan terapkan batas per pengguna Anda sendiri sebelum meneruskan permintaan.

Hal yang sama berlaku untuk alat desktop yang Anda berikan kepada orang lain. Jika rekan tim butuh akses ke agen coding, beri mereka kunci sendiri di akun mereka sendiri alih-alih berbagi satu kunci.

Mengapa tiap workload perlu kunci sendiri?

Di BroadNet Inference, satu akun bisa memiliki hingga sepuluh kunci aktif. Manfaatkan:

Label kunci Dipakai oleh
prod-api Backend produksi
prod-worker Job batch
staging Lingkungan staging
agent-ci Agen coding di CI
dev-laptop-<name> Pengembangan lokal

Saat satu kunci bocor, Anda hanya mencabut kunci itu, dan yang lain tetap berjalan. Label juga membuat pemakaian mudah dibaca: Anda bisa melihat workload mana yang menghabiskan berapa. Namai kunci sesuai pemakainya, bukan sesuai siapa yang membuatnya.

Bagaimana IP allow-list melindungi kunci?

IP allow-list berarti kunci yang dicuri gagal di mana pun selain di infrastruktur Anda sendiri. Di BroadNet Inference:

  • Allow-list akun menampung hingga 32 entri, satu alamat IPv4 atau IPv6 atau rentang CIDR per baris.
  • Daftar kosong berarti tanpa pembatasan.
  • Kunci baru mewarisi daftar akun, kecuali Anda membuat kunci dengan allowed_ips sendiri, yang menggantikan daftar warisan untuk kunci tersebut.
  • Permintaan dari alamat di luar daftar ditolak dengan 403 (“refused by model, route or IP policy”; Terjemahan BroadRouter: “ditolak oleh kebijakan model, rute, atau IP”).

Buat kunci dengan daftarnya sendiri melalui API portal:

curl -X POST https://inference.broadnet.ai/portal/keys \
  -H "Authorization: Bearer $BROADNET_PORTAL_CREDENTIAL" \
  -H "Content-Type: application/json" \
  -d '{"label":"prod-worker","allowed_ips":["203.0.113.7","198.51.100.0/24"]}'

Respons berisi kunci mentah satu kali saja. Segera simpan di secret manager Anda; kunci itu tidak bisa dibaca ulang. Langkah lengkapnya ada di panduan IP allow-list.

Allow-list cocok untuk server dengan IP egress yang tetap: VPS, NAT gateway, IP kantor yang tetap. Untuk laptop yang berpindah-pindah jaringan, gunakan kunci terpisah tanpa daftar dan jaga agar saldo yang terekspos lewat kunci itu tetap kecil.

Mengapa kunci inferensi harus dipisahkan dari kredensial admin?

BroadNet memakai dua jenis kredensial:

Kredensial Bisa melakukan Simpan di
Kunci inferensi Permintaan model ke /v1/* Di mana pun aplikasi berjalan
Kredensial portal Membuat dan mencabut kunci, mengubah IP yang diizinkan, melakukan pembelian Hanya di tooling otomasi atau admin Anda

Dokumentasinya meminta Anda memperlakukan setiap kredensial portal sebagai otoritas penuh atas akun. Jangan pernah men-deploy kredensial portal di samping aplikasi Anda. Jika server aplikasi Anda dibobol, penyerang seharusnya hanya mendapat satu kunci inferensi, bukan kendali atas akun.

Seberapa sering kunci API perlu dirotasi?

OWASP menyarankan rotasi rutin “so that any stolen credentials will only work for a short time.” (Terjemahan BroadRouter: “agar kredensial yang dicuri hanya berfungsi untuk waktu yang singkat.”) Kunci BroadNet berlaku satu tahun sejak dibuat, jadi setiap kunci memang harus diganti suatu saat. Jadikan rotasi sebagai rutinitas:

  1. Buat kunci baru dengan pola label dan allow-list yang sama.
  2. Deploy berdampingan dengan kunci lama, atau ganti secret-nya lalu restart.
  3. Pantau trafik berpindah ke kunci baru.
  4. Cabut kunci lama dengan DELETE /portal/keys/{alias}.

Karena satu akun bisa memiliki hingga sepuluh kunci aktif, Anda bisa menjalankan kunci lama dan baru bersamaan selama beberapa menit tanpa downtime. Rotasi lebih cepat untuk kunci yang pernah diakses anggota tim yang keluar.

Apa yang harus dilakukan saat kunci bocor?

Saat kunci bocor, cabut dulu, baru selidiki. Di BroadNet Inference, permintaan baru berhenti dalam lima detik setelah pencabutan atau perubahan allow-list; dokumentasinya menjelaskan bahwa keputusan otorisasi bisa tetap berada di cache yang direplikasi selama interval terbatas itu.

Setelah mencabut:

  • periksa pemakaian kunci di halaman akun atau GET /portal/usage;
  • cari tahu bagaimana kunci itu bocor (riwayat commit, log CI, tangkapan layar yang dibagikan);
  • rotasi secret lain yang disimpan di tempat yang sama.

Kunci yang dicabut atau diblokir mengembalikan 401 atau 403; lihat panduan error agar monitoring Anda tidak menganggapnya sebagai error sementara.

Bagaimana kunci bisa bocor lewat log?

Log adalah sumber kebocoran yang mudah terlewat. Samarkan header Authorization di logging debug HTTP, error reporter, dan access log proxy. Saat menghubungi dukungan, kirim X-Request-ID, timestamp, rute, status, dan alias kunci, jangan pernah kuncinya sendiri. Dokumentasi BroadNet menyebutkan portal hanya menyimpan hash setiap kunci, jadi portal juga tidak bisa menampilkan kunci yang hilang.

Bagaimana membatasi kerusakan dari kebocoran yang belum Anda temukan?

Meski sudah menerapkan semua kebiasaan di atas, anggap saja suatu hari kunci bisa bocor. Perkecil radius dampaknya:

  • Jaga saldo bayar sesuai pemakaian di level yang masih rela Anda kehilangan, dan top up sesuai kebutuhan.
  • Gunakan paket harga tetap untuk agen yang berat: sesi paket punya harga tetap, jadi kunci paket yang dicuri tidak bisa menumpuk tagihan per token. Lihat apa arti unlimited sebenarnya.
  • Pasang peringatan untuk pengeluaran atau laju permintaan yang tidak biasa per kunci; kalkulator biaya API LLM memberi angka bulanan normal sebagai acuan peringatan. Artikel kami tentang kontrol pengeluaran API LLM membahas anggaran dan peringatan.

Kontrol kunci apa saja yang disediakan BroadNet Inference?

Kontrol BroadNet Inference
Kunci ditampilkan sekali, disimpan sebagai hash Ya
Kunci aktif per akun Hingga 10
Masa berlaku kunci Satu tahun
IP allow-list Hingga 32 entri IPv4, IPv6, atau CIDR
Allow-list per kunci Ya, allowed_ips saat pembuatan
Pencabutan berlaku Dalam lima detik
Kredensial admin terpisah Kredensial portal

Kunci melindungi akun Anda; zero data retention melindungi apa yang Anda kirim melaluinya. Baca keduanya sebelum rilis.

Pertanyaan umum

Di mana sebaiknya saya menyimpan kunci API LLM?

Di secret manager atau fitur secret terenkripsi platform Anda, lalu disuntikkan ke proses sebagai environment variable seperti BROADNET_API_KEY. Bukan di kode sumber, bukan di file .env yang ikut di-commit, dan jangan pernah di kode front-end.

Seberapa cepat saya bisa mencabut kunci BroadNet Inference?

Dokumentasi BroadNet menyebutkan permintaan baru berhenti dalam lima detik setelah pencabutan atau perubahan allow-list, karena keputusan otorisasi bisa tetap tersimpan di cache yang direplikasi selama interval terbatas itu.

Berapa lama kunci BroadNet Inference berlaku?

Kunci bayar sesuai pemakaian berlaku satu tahun sejak dibuat. Satu akun bisa memiliki hingga sepuluh kunci aktif, jadi Anda bisa membuat penggantinya sebelum kunci lama kedaluwarsa.

Bisakah BroadNet menampilkan kunci saya lagi jika hilang?

Tidak. Dokumentasi BroadNet menyebutkan kunci mentah hanya dikembalikan sekali dan portal hanya menyimpan hash-nya. Buat kunci baru dan cabut kunci lama.

Apa yang harus saya lakukan jika kunci API kompatibel OpenAI saya bocor?

Cabut dulu, baru selidiki. Periksa pemakaian kunci untuk trafik yang tidak dikenal, cari dari mana bocornya (riwayat commit, log CI, tangkapan layar), rotasi secret lain yang disimpan di tempat yang sama, dan terbitkan kunci pengganti dengan IP allow-list.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity