BroadRouter
Bắt đầu

Bảo mật API key LLM: lưu trữ, xoay vòng và danh sách IP cho phép

Đội ngũ BroadNet Inference · 6 phút đọc · Đăng ngày · Cập nhật

Hãy lưu API key LLM trong secret manager, không bao giờ trong code hay trình duyệt. Cấp cho mỗi ứng dụng hoặc agent một key riêng, xoay vòng định kỳ, và khóa key vào server bằng danh sách IP cho phép. Theo BroadNet Inference, danh sách cho phép nhận 32 mục, thu hồi chặn request mới trong vòng năm giây, và key có hiệu lực một năm.

Để bảo mật API key LLM, hãy giữ nó trong secret manager và chỉ gọi model từ server của bạn, không bao giờ từ trình duyệt hay ứng dụng. Cấp cho mỗi workload một key riêng, xoay vòng key định kỳ, khóa key vào IP server bằng danh sách cho phép, và khi key bị lộ thì thu hồi trước, điều tra sau.

Bài này nói về những thói quen giữ key an toàn, cùng các cơ chế kiểm soát cụ thể mà BroadNet Inference cung cấp. Để xem từng bước thao tác trên portal, hãy đọc hướng dẫn API key và danh sách IP cho phép; về ngân sách và chống vòng lặp mất kiểm soát, xem kiểm soát chi tiêu API LLM.

Nên lưu API key LLM ở đâu?

Hãy lưu key trong secret manager hoặc kho secret được mã hóa của nền tảng, không bao giờ trong code. OWASP Secrets Management Cheat Sheet trình bày kỹ các lựa chọn. Lưu ý lời cảnh báo của nó: biến môi trường “are generally accessible to all processes and may be included in logs or system dumps” (bản dịch: thường có thể bị mọi tiến trình truy cập và có thể lọt vào log hoặc bản dump hệ thống), nên khi có lựa chọn, OWASP ưu tiên file secret được mount hoặc lấy secret từ kho secret. Một biến môi trường được nạp từ secret manager lúc khởi động là giải pháp trung gian phổ biến.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],  # fails loudly if missing
)

Hãy dùng os.environ[...], đừng dùng os.getenv(...) kèm giá trị dự phòng viết cứng; chính giá trị dự phòng đó là cách key lọt vào Git. Khi phát triển cục bộ, file .env vẫn ổn nếu nó nằm trong .gitignore ngay từ commit đầu tiên. Hãy bật secret scanning và push protection của nền tảng Git bạn dùng. Trên GitHub, push protection chặn các lần push chứa định dạng secret đã biết trước khi chúng tới repository; push protection cho người dùng được bật mặc định, nhưng push protection cấp repository mặc định tắt và phải do quản trị viên repository hoặc chủ tổ chức bật.

Có thể đặt API key trong trình duyệt hay ứng dụng di động không?

Không. Bất cứ thứ gì gửi xuống client đều có thể bị trích xuất. Code front-end và gói ứng dụng là công khai, dù có được minify hay làm rối đến đâu. Hãy gọi LLM từ server, xác thực người dùng của bạn tại đó, và áp giới hạn riêng cho từng người dùng trước khi chuyển tiếp.

Công cụ desktop bạn giao cho người khác cũng vậy. Nếu một đồng nghiệp cần dùng coding agent, hãy cho họ key riêng trên tài khoản riêng thay vì dùng chung một key.

Vì sao mỗi workload nên có key riêng?

Trên BroadNet Inference, một tài khoản có thể giữ tối đa mười key đang hoạt động. Hãy tận dụng chúng:

Nhãn key Dùng cho
prod-api Backend production
prod-worker Job batch
staging Môi trường staging
agent-ci Coding agent trong CI
dev-laptop-<name> Phát triển cục bộ

Khi một key bị lộ, bạn chỉ thu hồi key đó, các key khác vẫn chạy. Nhãn cũng giúp đọc mức sử dụng dễ hơn: bạn thấy workload nào tiêu bao nhiêu. Hãy đặt tên key theo thứ dùng nó, không theo người tạo ra nó.

Danh sách IP cho phép bảo vệ key thế nào?

Một danh sách IP cho phép khiến key bị đánh cắp không dùng được ở bất cứ đâu ngoài hạ tầng của bạn. Trên BroadNet Inference:

  • Danh sách cho phép của tài khoản nhận tối đa 32 mục, mỗi dòng một địa chỉ IPv4 hoặc IPv6 hoặc một dải CIDR.
  • Danh sách trống nghĩa là không hạn chế.
  • Key mới kế thừa danh sách của tài khoản, trừ khi bạn tạo key với allowed_ips riêng, khi đó danh sách này thay thế danh sách kế thừa cho key đó.
  • Request từ địa chỉ ngoài danh sách bị từ chối với mã 403 (“refused by model, route or IP policy”, bản dịch: bị từ chối bởi chính sách model, route hoặc IP).

Tạo key với danh sách riêng qua portal API:

curl -X POST https://inference.broadnet.ai/portal/keys \
  -H "Authorization: Bearer $BROADNET_PORTAL_CREDENTIAL" \
  -H "Content-Type: application/json" \
  -d '{"label":"prod-worker","allowed_ips":["203.0.113.7","198.51.100.0/24"]}'

Phản hồi chứa key gốc đúng một lần. Hãy lưu ngay vào secret manager; không thể đọc lại được. Các bước đầy đủ có trong hướng dẫn danh sách IP cho phép.

Danh sách cho phép hợp với server có IP đi ra cố định: một VPS, một NAT gateway, một IP văn phòng cố định. Với laptop dùng mạng thay đổi, hãy dùng một key riêng không có danh sách và giữ số dư mà key đó có thể tiêu ở mức nhỏ.

Vì sao tách key inference khỏi thông tin xác thực quản trị?

BroadNet dùng hai loại thông tin xác thực:

Thông tin xác thực Làm được gì Lưu ở đâu
Key inference Gửi request tới model qua /v1/* Nơi ứng dụng chạy
Thông tin xác thực portal Tạo và thu hồi key, đổi IP được phép, mua hàng Chỉ trong công cụ tự động hóa hoặc quản trị

Tài liệu khuyên coi mỗi thông tin xác thực portal là toàn quyền với tài khoản. Đừng bao giờ triển khai thông tin xác thực portal cạnh ứng dụng. Nếu server ứng dụng bị xâm nhập, kẻ tấn công chỉ nên lấy được một key inference, không phải quyền điều khiển tài khoản.

Nên xoay vòng API key bao lâu một lần?

OWASP khuyên xoay vòng định kỳ “so that any stolen credentials will only work for a short time.” (bản dịch: để thông tin xác thực bị đánh cắp chỉ dùng được trong thời gian ngắn.) Key BroadNet có hiệu lực một năm kể từ khi tạo, nên dù sao mọi key cũng sẽ phải thay. Hãy biến xoay vòng thành việc thường lệ:

  1. Tạo key mới với cùng quy ước nhãn và danh sách cho phép.
  2. Triển khai song song với key cũ, hoặc đổi secret rồi khởi động lại.
  3. Theo dõi traffic chuyển sang key mới.
  4. Thu hồi key cũ bằng DELETE /portal/keys/{alias}.

Vì một tài khoản có thể giữ tối đa mười key đang hoạt động, bạn có thể cho key cũ và mới chạy chồng nhau vài phút mà không gián đoạn. Hãy xoay vòng sớm hơn với những key mà thành viên sắp rời nhóm từng có quyền truy cập.

Nên làm gì khi key bị lộ?

Khi key bị lộ, hãy thu hồi trước và điều tra sau. Trên BroadNet Inference, request mới dừng trong vòng năm giây sau khi thu hồi hoặc thay đổi danh sách cho phép; tài liệu giải thích rằng quyết định cấp quyền có thể còn nằm trong cache được nhân bản trong khoảng thời gian giới hạn đó.

Sau khi thu hồi:

  • kiểm tra mức sử dụng của key trên trang tài khoản hoặc qua GET /portal/usage;
  • tìm xem key bị lộ thế nào (lịch sử commit, log CI, một ảnh chụp màn hình được chia sẻ);
  • xoay vòng mọi secret khác lưu cùng chỗ.

Key đã bị thu hồi hoặc bị chặn trả về 401 hoặc 403; xem hướng dẫn lỗi để hệ thống giám sát không coi chúng là lỗi tạm thời.

Key bị lộ qua log như thế nào?

Log là đường lộ dễ bị bỏ sót. Hãy che header Authorization trong log debug HTTP, công cụ báo lỗi và log truy cập của proxy. Khi liên hệ hỗ trợ, hãy gửi X-Request-ID, thời điểm, route, trạng thái và alias của key, không bao giờ gửi chính key. Tài liệu của BroadNet cho biết portal chỉ lưu hash của mỗi key, nên cũng không thể hiển thị lại key bạn đã làm mất.

Làm sao hạn chế thiệt hại từ một vụ lộ key bạn chưa phát hiện?

Ngay cả khi đã giữ mọi thói quen trên, hãy giả định một ngày nào đó key có thể bị lộ. Thu nhỏ phạm vi ảnh hưởng:

  • Giữ số dư trả theo mức dùng ở mức bạn chấp nhận mất được, và nạp tiền khi cần.
  • Dùng gói giá cố định cho agent chạy nặng: một phiên của gói có giá cố định, nên key gói bị đánh cắp không thể đẩy hóa đơn tính theo token lên. Xem “không giới hạn” thực sự nghĩa là gì.
  • Đặt cảnh báo khi chi tiêu hoặc tốc độ request của từng key bất thường; công cụ tính chi phí API LLM cho bạn con số hằng tháng bình thường để làm mốc cảnh báo. Bài kiểm soát chi tiêu API LLM đề cập ngân sách và cảnh báo.

BroadNet Inference cung cấp những cơ chế kiểm soát key nào?

Cơ chế BroadNet Inference
Key chỉ hiện một lần, lưu dạng hash Có
Key đang hoạt động mỗi tài khoản Tối đa 10
Thời hạn key Một năm
Danh sách IP cho phép Tối đa 32 mục IPv4, IPv6 hoặc CIDR
Danh sách cho phép theo từng key Có, allowed_ips khi tạo
Thu hồi có hiệu lực Trong vòng năm giây
Thông tin xác thực quản trị riêng Thông tin xác thực portal

Key bảo vệ tài khoản của bạn; không lưu giữ dữ liệu bảo vệ những gì bạn gửi qua tài khoản đó. Hãy đọc cả hai trước khi đưa lên production.

Câu hỏi thường gặp

Nên lưu API key LLM ở đâu?

Trong secret manager hoặc kho secret được mã hóa của nền tảng, rồi đưa vào tiến trình dưới dạng biến môi trường như BROADNET_API_KEY. Không để trong mã nguồn, không trong file .env đã commit, và tuyệt đối không trong code front-end.

Thu hồi một key BroadNet Inference nhanh đến mức nào?

Tài liệu của BroadNet cho biết request mới sẽ dừng trong vòng năm giây sau khi thu hồi hoặc thay đổi danh sách cho phép, vì quyết định cấp quyền có thể còn nằm trong cache được nhân bản trong khoảng thời gian giới hạn đó.

Key BroadNet Inference có hiệu lực bao lâu?

Key trả theo mức dùng có hiệu lực một năm kể từ khi tạo. Một tài khoản có thể giữ tối đa mười key đang hoạt động, nên bạn có thể tạo key thay thế trước khi key cũ hết hạn.

Nếu làm mất key, BroadNet có hiển thị lại được không?

Không. Tài liệu của BroadNet cho biết key gốc chỉ được trả về một lần và portal chỉ lưu hash của nó. Hãy tạo key mới và thu hồi key cũ.

Làm gì nếu API key tương thích OpenAI của tôi bị lộ?

Thu hồi trước, điều tra sau. Kiểm tra mức sử dụng của key xem có traffic lạ không, tìm nơi bị lộ (lịch sử commit, log CI, ảnh chụp màn hình), xoay vòng mọi secret khác lưu cùng chỗ, và cấp key thay thế có danh sách IP cho phép.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity