---
title: "大模型私有端点规划：先明确哪些需求 | BroadRouter"
description: "申请大模型私有端点前要明确什么：工作负载、每秒 token 数、并发、上下文、区域、许可证和预算，以及拿到端点后如何测试。"
url: https://broadrouter.com/zh/blog/private-endpoint-planning/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/private-endpoint-planning/)（2026-11-15 更新）。

# 申请私有端点，先把工作负载说清楚

BroadNet Inference 团队 · 阅读约 7 分钟 · 发布于 2026-11-15

申请私有端点之前，先写清工作负载：每天和高峰期的请求数、输入和输出 token、由此推算的并发、所需上下文、处理区域、模型及其许可证，以及预算。区域和限额要书面约定，拿到端点后先做冒烟测试，再接入真实数据。

## 要点

-   容量申请的质量取决于其中的数字：高峰期每秒请求数、输入和输出 token，以及你能接受的延迟。
-   并发由利特尔法则（Little's law）推出：同时处理的请求数 = 到达率 × 每个请求的耗时。先在试用中测出每个请求的耗时。
-   BroadNet 公开描述的私有端点是：按你的流量定价的预留 GPU 容量，配有你自己的密钥、限额和区域，通过私有模型 ID 访问。其他一切都要与 BroadNet 约定。
-   BroadNet 的服务条款说，自助服务没有可用性承诺，私有端点和预留容量按单独的书面协议执行。
-   投入生产前先测试拿到的端点：模型 ID、流式输出、约定的并发，以及模型 ID 错误时返回的错误。

**本页内容**

1.  什么时候需要私有端点？
2.  关于工作负载要明确什么？
3.  如何把用量换算成每秒 token 数和并发？
4.  区域、数据驻留和限额怎么处理？
5.  用哪个模型，在什么许可证下？
6.  预算怎么定？
7.  如何提交咨询？
8.  如何验证拿到的端点？
9.  BroadNet Inference 的定位

“我们需要一个专属端点”只是对话的开始，而不是需求说明。没有你的数字，服务商无法确定容量的规模、部署位置和价格，你也无法判断他们的答复是否合理。本文列出申请之前要明确的内容，配合一个发票信息抽取的完整示例，最后给出一个用来检查所拿到端点的脚本。

这些内容适用于任何服务商。涉及 BroadNet 的部分，只采用 BroadNet 公开说明的内容，于 2026 年 11 月 15 日核对。超出这些范围的，都需要向 BroadNet 询问。

## 什么时候需要私有端点？

通常出于以下四个原因之一：

-   \*\*流量超过自助服务的限制。\*\*BroadNet 的 API 参考公布的按量付费密钥限制是每分钟 30 个请求、同时最多 4 个请求。持续超过这个水平的工作负载是容量问题，而不是重试问题。（短时突发见[处理 429](https://broadrouter.com/zh/blog/handle-llm-api-429-rate-limits/)。）
-   \*\*需要的模型不在公开列表中。\*\*BroadNet 的目录把一些模型标为 “available on request”（可按需申请），包括 Qwen3-VL 30B-A3B、Qwen3-VL 8B，以及 BroadNet 基于 Cohere Transcribe Arabic 的微调模型。[如何读懂模型目录](https://broadrouter.com/zh/blog/understand-model-status/)解释了其中的区别。
-   \*\*必须由你控制处理地点。\*\*数据驻留规定，例如[沙特和阿联酋 PDPL 检查清单](https://broadrouter.com/zh/blog/saudi-uae-pdpl-llm-api-checklist/)中的那些，可能要求使用书面约定的区域。
-   \*\*可预测的延迟。\*\*共享容量会随其他用户的负载而波动。预留容量消除了这个变量，但消除不了网络距离和你自己的提示词大小。

如果以上都不适用，自助密钥更简单。如果你的用量非常大且稳定，就和自己部署对比一下：方法见[自托管与 API 成本对比](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)。

## 关于工作负载要明确什么？

写一页需求简介。服务商需要的是这些数字：

| 项目 | 要写下什么 | 示例 |
| --- | --- | --- |
| 任务 | 用一句话说明模型做什么 | 读取发票照片，返回 JSON 字段 |
| 用量 | 每天的请求数，以及最忙一小时的占比 | 每天 40,000 个，高峰小时占 15% |
| Token | 输入和输出 token 的平均值和第 95 百分位 | 输入 1,800（一页图片 + 提示词），输出 350 |
| 上下文 | 单个请求的最大值，提示词加回答 | 4,000 token |
| 延迟 | 可接受的首 token 时间和完整回答时间 | 10 秒内返回完整回答 |
| 流式输出 | 是否需要 | 不需要（类似批处理） |
| 输入 | 文本、图片、音频；格式和大小 | JPEG 和 PNG，每张一页 |
| 语言 | 哪些语言，各占多少 | 阿拉伯语和英语，60/40 |
| 增长 | 6 个月和 12 个月后的预期用量 | 12 个月内翻倍 |

token 数要用真实样本测量，而不是靠猜。同样的文本，阿拉伯语往往比英语需要更多 token；[阿拉伯语 token 计数器](https://broadrouter.com/tools/arabic-token-counter/)和[各语言的真实成本](https://broadrouter.com/data/real-cost-by-language/)展示了在不同分词器上相差多少。图片可以先用[图片 token 计算器](https://broadrouter.com/tools/image-token-calculator/)做初步估算。

## 如何把用量换算成每秒 token 数和并发？

高峰期每秒请求数等于最忙一小时的用量除以 3,600。并发，即同时在处理的请求数，由[利特尔法则](https://en.wikipedia.org/wiki/Little%27s_law)推出：系统中的平均数量等于到达率乘以每个请求在系统中的平均停留时间。对 API 来说，就是每秒请求数 × 每个请求的秒数。

```python
import math

def size(requests_per_day: int, peak_share_of_day_in_busiest_hour: float,
         in_tokens: int, out_tokens: int, out_tok_per_s_per_stream: float) -> dict:
    """Rough peak numbers to put in a capacity enquiry. Measure your own inputs; these are not provider specs."""
    peak_rps = requests_per_day * peak_share_of_day_in_busiest_hour / 3600
    seconds_per_request = out_tokens / out_tok_per_s_per_stream        # ignores queueing and prompt time
    concurrency = peak_rps * seconds_per_request                      # Little's law: L = λ × W
    return {
        "peak_requests_per_second": round(peak_rps, 2),
        "seconds_per_request": round(seconds_per_request, 1),
        "concurrent_requests_at_peak": math.ceil(concurrency),
        "peak_input_tokens_per_second": round(peak_rps * in_tokens),
        "peak_output_tokens_per_second": round(peak_rps * out_tokens),
        "monthly_tokens_millions": round(requests_per_day * 30 * (in_tokens + out_tokens) / 1e6, 1),
    }

# 40,000 invoice extractions a day, 15% of them in the busiest hour,
# 1,800 tokens in, 350 out, 60 tokens/s per stream measured on a trial.
print(size(40_000, 0.15, 1_800, 350, 60))
```

它输出的结果是：高峰期每秒 1.67 个请求，每个请求约 5.8 秒，并发 10 个请求，每秒 3,000 个输入 token 和 583 个输出 token，每月 25.8 亿 token。每路流每秒 60 个 token 只是示例中的假设；请在你要使用的模型上自己测量，因为速度随模型、提示词长度和负载而变化。[延迟、TTFT 与吞吐量](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)一文说明了要测什么。

有两点要注意。这个公式忽略了提示词处理时间，所以长提示词或大图片会让实际请求更慢，推高并发。另外，平均值会掩盖突发：要把第 95 百分位的请求大小和一份简短的突发特征交给服务商，而不只是平均值。这个示例的高峰（约每分钟 100 个请求、同时 10 个）远高于单个按量付费密钥公布的自助限制，这正是值得开始谈容量的时候。

## 区域、数据驻留和限额怎么处理？

在任何受监管的数据流动之前，明确地以书面形式约定。BroadNet 的服务条款（§7.3a）写道：“Contact us to agree processing locations for your deployment before sending data with residency requirements”（译文：在发送有数据驻留要求的数据之前，请联系我们约定你的部署的处理地点），并说明合作方托管和备份处理会涉及其他处理方，客户可申请获取当前的子处理方列表。其隐私声明说，BroadNet 自有的和托管的开放权重模型运行在 BroadNet 位于美国的自有或租用硬件上，合作方容量作为备份；其概览页说，可按需申请在中东北非（MENA）或欧洲进行区域处理。

所以，要问任何服务商的问题是：

1.  哪个区域处理请求，哪个区域承担备份容量？
2.  哪些子处理方可能接触流量，包括故障切换或溢出时？
3.  端点的速率、并发和 token 限额是多少，超过后会怎样？
4.  适用哪些可用性和支持条款，写在哪里？BroadNet 的服务条款（§7.4）说，自助服务没有可用性承诺，私有端点和预留容量按你单独的书面协议执行。要了解其他服务商的书面 SLA 涵盖哪些内容，请阅读[大模型 API SLA 对比](https://broadrouter.com/zh/blog/llm-api-sla-uptime-compared/)。
5.  保留什么？对于 BroadNet 的推理 API，公开的立场是：推理内容不会保留；必要的账户、账单和安全元数据会按其[隐私声明](https://www.broadnet.ai/inference-privacy)中的说明保留。请确认同样的规定适用于你的端点。

## 用哪个模型，在什么许可证下？

写明确切的模型和版本，并确认其许可证允许你的用途以及通过 API 提供服务。BroadNet 的模型页列出 Gemma 4 26B、Qwen3-VL 30B-A3B 以及 Cohere Transcribe 基础权重采用 Apache-2.0 许可，而 BroadNet 基于 Cohere Transcribe Arabic 的微调模型为 “under contract”（按合同提供）。其服务条款说，模型受各自许可证约束，DeepSeek V4.1 Flash 由合作方托管时，其许可证依然适用。

上下文窗口也要约定。上下文限制取决于模型和部署方式，而不只是基础模型的最大值：BroadNet 列出其公开 API 上 Gemma 4 VL 26B 的上下文为 32K token，可按需申请的 Qwen3-VL 30B-A3B 为 16K。用[上下文窗口计算器](https://broadrouter.com/tools/context-window-calculator/)对照你最大的请求，而不是平均请求。

## 预算怎么定？

BroadNet 没有公布私有端点的价格；其概览页写的是 “Reserved GPU, priced to your traffic. Ask for a quote.”（译文：预留 GPU，按你的流量定价。请询价。）所以先定好你自己的上限。用[大模型 API 成本计算器](https://broadrouter.com/tools/llm-api-cost-calculator/)按自助价格为同样的工作负载估价，使用规模估算脚本得出的每月 token 数，然后决定可预测的容量、指定区域或非公开模型对你来说额外值多少钱。报价低于自助价格是意外之喜；报价远高于它，就需要从你的需求清单中找到理由。

## 如何提交咨询？

BroadNet 的 API 参考写道：“Private endpoints, our Arabic fine-tunes and other models on request are reached with a private ID issued with the endpoint.”（译文：私有端点、我们的阿拉伯语微调模型以及其他按需申请的模型，通过随端点签发的私有 ID 访问。）其概览页要求提供 “your model, languages and traffic requirements”（译文：你的模型、语言和流量需求）。通过[联系页面](https://broadrouter.com/zh/contact/#private)发送你的一页需求简介，不要附带 API 密钥或客户数据。内容包括规模估算的输出、区域、模型和许可证、延迟目标、预算上限和时间表。

## 如何验证拿到的端点？

在接入生产流量之前，对照约定的内容测试端点。这个脚本只用 Python 标准库。它会检查私有模型 ID 是否可用、流式输出是否以 BroadNet 文档描述的 `data: [DONE]` 标记结束、约定的并发是否能跑通而不出现 429，以及错误的模型 ID 是否会被拒绝。

```python
import json, os, sys, time, urllib.error, urllib.request
from concurrent.futures import ThreadPoolExecutor

BASE = os.environ["ENDPOINT_BASE_URL"].rstrip("/")    # from your agreement, e.g. https://.../v1
KEY = os.environ["ENDPOINT_API_KEY"]
MODEL = os.environ["ENDPOINT_MODEL_ID"]                # the private ID issued with the endpoint
AGREED_CONCURRENCY = int(os.environ.get("AGREED_CONCURRENCY", "4"))

def post(payload: dict, stream=False):
    req = urllib.request.Request(f"{BASE}/chat/completions", data=json.dumps(payload).encode(),
        headers={"Authorization": f"Bearer {KEY}", "Content-Type": "application/json"})
    t0 = time.monotonic()
    try:
        with urllib.request.urlopen(req, timeout=120) as r:
            body = r.read().decode()
            return r.status, r.headers.get("X-Request-ID"), body, time.monotonic() - t0
    except urllib.error.HTTPError as e:
        return e.code, e.headers.get("X-Request-ID"), e.read().decode(), time.monotonic() - t0

def main() -> int:
    msg = [{"role": "user", "content": "Reply with the word OK."}]
    results = {}
    code, rid, body, secs = post({"model": MODEL, "messages": msg, "max_tokens": 1000})
    ok = code == 200 and "usage" in json.loads(body)
    results["model_id_accepted"] = (ok, f"HTTP {code}, request ID {rid}, {secs:.2f}s")
    code, _, body, _ = post({"model": MODEL, "messages": msg, "stream": True,
                             "stream_options": {"include_usage": True}})
    results["stream_ends_with_DONE"] = (code == 200 and body.rstrip().endswith("data: [DONE]"), f"HTTP {code}")
    with ThreadPoolExecutor(AGREED_CONCURRENCY) as pool:
        codes = list(pool.map(lambda _: post({"model": MODEL, "messages": msg, "max_tokens": 1000})[0],
                              range(AGREED_CONCURRENCY)))
    results["agreed_concurrency_no_429"] = (all(c == 200 for c in codes), f"codes {sorted(codes)}")
    code, _, _, _ = post({"model": MODEL + "-typo", "messages": msg})
    results["unknown_model_rejected"] = (code in (400, 403, 404), f"HTTP {code}")
    for name, (passed, note) in results.items():
        print(f"{'PASS' if passed else 'FAIL'}  {name}: {note}")
    return 0 if all(p for p, _ in results.values()) else 1

if __name__ == "__main__":
    sys.exit(main())
```

我们用一个允许 8 个并发请求的本地模拟服务器（不是真实端点）运行了它。设置 `AGREED_CONCURRENCY=8` 时，四项检查全部通过。设为 12 时，并发检查失败，结果是八个 200 和四个 429，这正是你希望在上线前而不是上线后看到的结果。`max_tokens=1000` 为思考模型留出了空间，它们在回答之前会用掉一部分预算。

冒烟测试之后，用真实大小的提示词，按你测得的高峰做一次简短的负载测试，记录端点的首 token 时间和完整回答延迟。保存好请求 ID；BroadNet 的文档要求在支持请求中提供 `X-Request-ID`、时间戳、路由和状态码。

## BroadNet Inference 的定位

BroadRouter 是 BroadNet 自己的网站。BroadNet Inference 以自助方式销售公开模型的访问，按 token、按音频分钟、按会话套餐和按小时密钥计费；价格见[价格页](https://broadrouter.com/zh/pricing/)。私有端点、区域处理、微调模型以及标为 “on request”（按需申请）的模型都不是自助服务：它们是由 BroadNet 报价并书面约定的咨询项目。本文无法告诉你 BroadNet 会为你的工作负载提供什么。一份清晰的需求简介，就是找到答案的方式。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

[首 token 延迟（TTFT，time to first token）](https://broadrouter.com/zh/glossary/time-to-first-token/)

首 token 延迟（TTFT）是从向语言模型发出请求到第一个输出 token 到达的时间。它包括网络时间、服务器上的排队时间和预填充（模型读取整个提示词的步骤），所以会随提示词长度和负载增加。

[输入 token 与输出 token](https://broadrouter.com/zh/glossary/input-and-output-tokens/)

输入 token 是语言模型在一次请求中读取的 token，包括系统提示词、对话历史、工具定义和图片。输出 token 是模型生成回复的 token，包括思考内容。大模型 API 通常分别计价，输出一般更贵。

[SLA（服务等级协议）](https://broadrouter.com/zh/glossary/sla/)

SLA（服务等级协议）是服务商在合同中对可衡量服务水平的承诺，通常是每月可用性百分比，并规定未达标时的补救方式，通常是服务抵扣。SLA 会定义什么算停机、哪些情况除外，以及如何申请赔付。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[图像 token（image tokens）](https://broadrouter.com/zh/glossary/image-tokens/)

图像 token 是视觉语言模型用来在提示词中表示一张图片的输入 token。服务商根据图片尺寸计算其数量，通常是先缩放、再切成固定大小的图块，并像文本输入 token 一样计费，所以图片越大越贵。

## 常见问题

### 什么是大模型私有端点？

一个由单个客户专用的预留容量支撑的 API 端点，而不是与所有自助用户共享。BroadNet 对它的描述是：一块预留的 GPU 或一个节点，运行你选择的模型，配有你自己的密钥和限额，以及你需要的区域，通过私有模型 ID 访问。

### 怎么估算需要多少并发？

用利特尔法则：并发请求数 = 高峰期每秒请求数 × 每个请求的秒数。每秒 1.67 个请求、每个约 5.8 秒，意味着约 10 个请求同时在处理。每个请求的秒数要用真实模型和真实提示词测量。

### 可以自助购买 BroadNet 的私有端点吗？

不可以。BroadNet 把私有端点、区域处理和未公开列出的模型作为咨询项目：你描述工作负载，BroadNet 报价。其服务条款说，私有端点和预留容量按单独的书面协议执行。

### 私有端点有 SLA 吗？

只有你的书面协议写明了才有。BroadNet 的服务条款说明，自助服务没有可用性承诺，服务等级只存在于单独的书面协议中。在依赖它之前，先要到确切的条款。

### 我的数据会在哪里处理？

在发送数据之前约定好。BroadNet 的服务条款要求有数据驻留要求的客户先约定处理地点，并说明合作方托管和备份处理会涉及其他处理方，客户可申请获取子处理方列表。

## 继续阅读

-   [自建部署大模型还是用 API：真实成本与盈亏平衡点](https://broadrouter.com/zh/blog/self-hosting-llm-vs-api-cost/)
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)
-   [沙特与阿联酋 PDPL 和大模型 API：数据跨境检查清单](https://broadrouter.com/zh/blog/saudi-uae-pdpl-llm-api-checklist/)
-   [如何选择大模型 API 服务商：20 项检查清单](https://broadrouter.com/zh/blog/choose-llm-api-provider-checklist/)
-   [上线新功能前，怎样估算大模型 API 费用](https://broadrouter.com/zh/blog/estimate-llm-api-cost-before-launch/)
-   [大模型 API 报 429 错误怎么办：退避、抖动与并发限制](https://broadrouter.com/zh/blog/handle-llm-api-429-rate-limits/)
-   [已上线、按需提供、仅研究：看懂模型目录](https://broadrouter.com/zh/blog/understand-model-status/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)
-   [指南：用 IP 白名单把 API 密钥锁定到你的服务器](https://broadrouter.com/zh/guides/api-keys-ip-allow-lists/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-private-endpoint-planning&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference 概览：私有端点 "Reserved GPU, priced to your traffic"（译文：预留 GPU，按你的流量定价），区域处理可按需申请（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference)
-   [BroadNet 模型目录：可按需申请的模型、按客户配置规模的多 GPU 私有端点（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference/models)
-   [BroadNet 模型页 Qwen3-VL 30B-A3B Instruct：按需申请，为每个客户签发私有 ID，16K 上下文（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference/models/qwen3-vl-30b-a3b)
-   [BroadNet 模型页 Gemma 4 VL 26B：配有你自己的密钥、限额和区域的私有端点（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
-   [BroadNet 服务条款，§7.3a 托管与处理地点、§7.4 可用性，最后更新于 2026 年 9 月 23 日（2026-11-15 查阅）（英文）](https://www.broadnet.ai/terms)
-   [BroadNet Inference API 参考：私有 ID、按量付费限制、流式输出、错误（2026-11-15 查阅）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-private-endpoint-planning&utm_content=sources)
-   [BroadNet Inference 隐私与数据保留声明：处理发生在哪里（2026-11-15 查阅）（英文）](https://www.broadnet.ai/inference-privacy)
-   [利特尔法则，L = λW（维基百科，2026-11-15 查阅）](https://en.wikipedia.org/wiki/Little%27s_law)
