DSPy는 시그니처와 모듈로 언어 모델을 프로그래밍하고, 그 뒤의 프롬프트를 최적화하는 Python 프레임워크입니다. 모델은 dspy.LM으로 연결합니다. DSPy 문서는 OpenAI 호환 서버를 api_base를 지정한 openai/ 모델로 연결하는 방법을 보여 줍니다. https://inference.broadnet.ai/v1 주소에서 chat completions를 제공하는 BroadNet Inference에는 model_type="chat"도 필요합니다. BroadRouter는 BroadNet이 운영하는 사이트이며, 이 글은 DSPy 3.5 문서를 따릅니다.
설치
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
연결
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/: DSPy에 OpenAI 클라이언트를 쓰라고 알려 줍니다. 문자열의 나머지인broadnet/glm-5.3부분이 BroadNet으로 보내는 모델 ID입니다.model_type="chat": DSPy가/v1/chat/completions를 계속 쓰게 합니다. DSPy LM 레퍼런스에 따르면 기본값'auto'는 OpenAI 모델이 “use Responses”(번역: Responses를 사용)하게 합니다.max_tokens: 추론할 여유를 남겨 둡니다. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B는 답하기 전에 생각하며, 그 생각도 한도에 포함됩니다.
model_type을 빼면 생기는 일
DSPy 설치 페이지의 OpenAI 호환 서버 예제에는 model_type이 없습니다. DSPy 3.5.0으로 테스트해 보니, 그 상태에서는 요청이 max_output_tokens와 함께 /v1/responses로 전송되었고 호출이 실패했습니다.
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
이 오류는 저희 모의(mock) 서버에서 나온 것입니다. 2026-11-16에 확인했을 때 BroadNet의 실제 엔드포인트도 /v1/responses에 404로 응답했습니다. model_type="chat"을 추가하자 해결되었습니다.
모듈과 모델
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| DSPy 용도 | 모델 |
|---|---|
Predict, ChainOfThought, 옵티마이저 실행 |
broadnet/deepseek-v4.1-flash (낮은 토큰당 가격, 정액 플랜) |
ReAct 등 도구를 호출하는 모듈 |
broadnet/glm-5.3 또는 broadnet/qwen3.8-27b |
| 초기 크레딧으로 DSPy 시험해 보기 | broadnet/gemma-4-26b-a4b (32,768토큰 컨텍스트) |
BroadNet 문서는 도구와 구조화된 출력을 GLM 5.3과 Qwen3.8 27B에만 표기합니다. 프로그램용 모델과 옵티마이저용 모델을 따로 두고, 각각 dspy.LM을 만들어 쓸 수도 있습니다. 모든 모델의 가격을 확인하세요.
테스트 방법
2026-11-15에 깨끗한 가상 환경에 dspy 3.5.0을 설치하고, BroadNet의 chat completions 형식으로 응답하며 /v1/responses에는 404를 반환하는 로컬 모의 서버를 대상으로 dspy.Predict를 실행했습니다. model_type이 없으면 DSPy는 /v1/responses를 호출해 실패했습니다. model_type="chat"을 넣으면 모델 ID broadnet/glm-5.3 값과 Bearer 키로 /v1/chat/completions를 호출했고, answer 필드를 파싱했습니다. DSPy가 출력 한도를 max_completion_tokens로 보낸다는 점도 확인했습니다. BroadNet API 레퍼런스는 max_tokens를 설명할 뿐 max_completion_tokens는 언급하지 않으므로, 이렇게 보낸 한도를 BroadNet이 적용하는지는 확인할 수 없습니다. BroadNet 키가 아니라 모의 서버로 테스트했기 때문에 실제 모델 출력은 확인하지 않았습니다.
문제 해결
- /v1/responses에서 404.
model_type="chat"을 추가하세요. - /v1/chat/completions에서 404.
api_base는/v1로 끝나야 하고, 모델 문자열은openai/에 BroadNet ID 전체를 붙인 형태여야 합니다. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)은broadnet/gemma-4-26b-a4b모델과 Transcribe 모델 두 개에만 쓸 수 있습니다. - “Expected to find output fields”. 답이 비었거나 중간에 끊겼다는 뜻으로, 추론이 출력 예산을 다 쓴 경우가 많습니다.
max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요. - 최적화 중 429. 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. 옵티마이저의 스레드 수를 줄이고 오류와 재시도를 참고하세요.
