BroadRouter

SillyTavern을 BroadNet Inference에 연결하기(Custom OpenAI 호환)

업데이트

SillyTavern의 API Connections 패널에서 Chat Completion을 고른 뒤 Chat Completion Source를 Custom (OpenAI-compatible)으로 설정하세요. Custom Endpoint에 https://inference.broadnet.ai/v1을 넣고 BroadNet 키를 붙여 넣은 다음, Enter a Model ID에 broadnet/qwen3.8-27b 같은 모델 ID를 입력하고 Connect, Test Message 순으로 클릭하세요. Max Response Length는 1,000토큰 이상으로 설정하세요.

SillyTavern은 캐릭터 채팅과 롤플레이에 많이 쓰이는 오픈소스 채팅 프런트엔드입니다. Custom (OpenAI-compatible) 소스는 Chat Completion API 유형을 일반 OpenAI 스키마를 쓰는 어떤 서버에든 연결합니다. BroadNet Inference는 https://inference.broadnet.ai/v1 주소에서 표준 chat completions를 제공합니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 아래 단계는 SillyTavern 문서와 1.19.0 릴리스를 따릅니다.

설정

  1. 키를 받습니다. BroadNet 콘솔에서 종량제 키를 만들거나, 시간제 키를 사거나, 무제한 플랜을 구매하세요.

  2. API Connections 패널을 엽니다.

  3. API를 Chat Completion으로 설정합니다.

  4. Chat Completion Source를 **Custom (OpenAI-compatible)**으로 설정합니다.

  5. Custom 양식을 채웁니다.

    필드 값
    Custom Endpoint (Base URL) https://inference.broadnet.ai/v1
    Custom API Key BroadNet 키
    Enter a Model ID broadnet/qwen3.8-27b
  6. Connect를 클릭합니다.

  7. 테스트합니다. Test Message를 클릭하세요. SillyTavern이 모델에 간단한 프롬프트를 보내며, 답이 오면 연결이 작동하는 것입니다.

URL에 /chat/completions를 붙이지 마세요. SillyTavern 양식에 이 접미사는 자동으로 추가된다고 적혀 있습니다.

모델은 Available Models에서 고르지 말고 ID를 직접 입력하세요. 이 목록은 /v1/models에서 오는데, BroadNet 문서는 이 엔드포인트를 모니터링용 카탈로그 메타데이터라고 설명합니다. 2026년 11월 15일에 확인했을 때는 채팅이 불가능한 전사 모델 두 개만 나와 있었습니다.

어떤 모델을 고를까

모델 ID 컨텍스트 비고
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1,048,576 긴 채팅, 무제한 플랜에서 제공하는 모델
Qwen3.8 27B broadnet/qwen3.8-27b 262,144 이미지, BroadNet이 아랍어로 테스트
GLM 5.3 broadnet/glm-5.3 1,048,576 텍스트 전용, 도구
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32,768 무료 초기 크레딧($5 상당)과 시간제 키로 사용 가능

무제한 플랜은 토큰당 요금을 내지 않으므로 긴 세션에 잘 맞습니다. Meteor 1시간은 $1, Orbit 1주는 $15, Full Moon 1개월은 $60 요금입니다. 플랜 세션 하나는 한 번에 요청 하나를 처리합니다.

바꿀 만한 설정

  • Max Response Length (tokens). DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 추론하며, 그 추론도 이 한도에 포함됩니다. 1,000 이상으로 설정하지 않으면 빈 답변이 올 수 있습니다.
  • Context Size (tokens). 표에 있는 모델의 값에 맞추세요. SillyTavern은 BroadNet에서 이 값을 읽어 오지 못합니다.
  • Prompt Post-Processing. 시스템 메시지가 여러 개이거나 역할 순서 때문에 모델이 프롬프트를 거부하면, 먼저 Merge consecutive roles를, 그다음 Semi-strict를 시도하세요. SillyTavern 문서에 따르면 “with tools” 변형을 고르지 않는 한 이 옵션들은 도구 호출을 제거합니다.
  • Bypass status check. SillyTavern이 API가 작동하지 않는다고 경고하는데 Test Message는 성공한다면 이 항목을 체크하세요.

문제 해결

  • 401. 키가 잘못되었거나 만료되었거나 사용 가능 금액이 소진된 경우입니다. 키를 다시 붙여 넣고 Connect를 클릭하세요.
  • 404 또는 “model not found”. URL은 /v1로 끝나야 하고, ID에는 broadnet/ 접두사가 있어야 합니다. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은 broadnet/gemma-4-26b-a4b 모델과 Transcribe 모델 두 개에만 쓸 수 있습니다.
  • 빈 답변. 응답 길이를 늘리세요. 답변이 비어서 오는 이유를 참고하세요.
  • 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용하며, 시간제 키와 플랜 세션은 스트림 하나만 처리합니다. 오류와 재시도를 참고하세요.

자주 묻는 질문

BroadNet에서 Available Models 목록이 틀리거나 비어 있는 이유는 무엇인가요?

SillyTavern은 이 목록을 /v1/models에서 채웁니다. 2026년 11월 15일에 확인했을 때 BroadNet의 공개 /v1/models에는 전사 모델 두 개만 나와 있었습니다. 대신 Enter a Model ID에 채팅 모델 ID를 직접 입력하세요.

긴 롤플레이 채팅에는 어떤 BroadNet 모델이 좋은가요?

DeepSeek V4.1 Flash는 컨텍스트가 1,048,576토큰이고, BroadNet 정액 무제한 플랜에서 제공하는 모델입니다. Qwen3.8 27B는 BroadNet이 걸프 방언과 이집트 방언을 포함해 아랍어로 테스트한 모델입니다.

SillyTavern에서 답변이 빈칸으로 오는 이유는 무엇인가요?

Gemma 4 VL 26B를 제외한 BroadNet 채팅 모델은 답하기 전에 추론하며, 그 추론도 max_tokens에 포함됩니다. SillyTavern의 Max Response Length가 이 한도를 정하므로 1,000토큰 이상으로 늘리세요.

콘텐츠 규칙이 있나요?

네. BroadNet의 허용 사용 정책(AUP)은 API로 보내는 모든 내용에 적용되며, 미성년자가 관련된 성적 콘텐츠 금지 조항은 허구의 콘텐츠와 합성 콘텐츠도 명시적으로 포함합니다.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기