LangGraph는 상태를 가진 다단계 에이전트를 그래프로 만드는 LangChain의 라이브러리입니다. 자체 모델 클라이언트는 없고, 노드가 LangChain 채팅 모델을 호출합니다. 그래프를 BroadNet Inference에서 실행하려면 langchain-openai의 ChatOpenAI에 BroadNet의 base URL을 지정해 넘기면 됩니다. BroadRouter는 BroadNet이 운영하는 사이트입니다. 아래 내용은 LangGraph 1.2.22와 langchain-openai 1.8 기준 LangGraph 및 LangChain 문서를 따릅니다.
설치
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
도구를 호출하는 그래프
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
모델 노드가 BroadNet을 호출합니다. 응답에 도구 호출이 있으면 tools_condition이 그래프를 도구 노드로 보내고, 도구 결과는 다시 모델로 돌아갑니다. 체크포인터가 thread_id별로 대화를 저장하므로, 같은 config로 invoke를 한 번 더 호출하면 대화가 이어집니다.
그래프에서 토큰 스트리밍하기
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
stream_mode="messages"를 쓰면 ChatOpenAI가 BroadNet에 stream: true를 보내고, LangGraph가 토큰을 그대로 전달합니다.
미리 만들어진 에이전트
커스텀 그래프가 필요 없다면, 미리 만들어진 에이전트 루프에 같은 모델을 넘기면 됩니다.
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
langgraph.prebuilt의 create_react_agent는 LangGraph 1.2.22에서도 실행되지만, langchain.agents.create_agent로 옮겨졌다는 경고를 출력합니다.
어떤 모델을 고를까
| 그래프 | 모델 |
|---|---|
| 도구를 쓰는 에이전트, 구조화된 출력 | broadnet/glm-5.3 (1,048,576 토큰 컨텍스트) |
| 도구와 이미지 입력 또는 아랍어 텍스트 | broadnet/qwen3.8-27b (262,144 토큰 컨텍스트) |
| 도구 호출이 없는 그래프, 긴 문서 | broadnet/deepseek-v4.1-flash |
BroadNet 문서는 도구와 구조화된 출력을 GLM 5.3과 Qwen3.8 27B에만 표기합니다. DeepSeek V4.1 Flash는 무제한 플랜의 모델이라, 도구를 호출하지 않는 요약·라우팅 그래프에 어울립니다. 이 모델에 도구 루프를 맡기려면 먼저 테스트하세요. 모든 모델의 가격을 확인하세요.
중요한 설정
- chat completions에 머무르세요. BroadNet은
/v1/chat/completions를 제공합니다. LangChain 문서에 따르면 OpenAI 내장 도구, 대화 상태,reasoning파라미터를 쓰면ChatOpenAI가 Responses API로 넘어갑니다. 이런 기능은 빼고use_responses_api=True도 설정하지 마세요. - 출력 한도. DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B에서는 추론도 출력 예산에 포함됩니다. 모델의
max_tokens를 2,000 이상으로 설정하세요. 저희 테스트에서 langchain-openai 1.8은 이 값을max_completion_tokens로 보냈습니다. - 병렬 분기. 모델을 호출하는 분기마다 별도의 요청이 됩니다. 종량제 키는 동시 처리 4 건까지 허용하고, 플랜 세션은 한 번에 하나씩 실행합니다.
테스트 방법
2026-11-15에 깨끗한 가상 환경에 langgraph 1.2.22, langchain-openai 1.8.0, langchain 1.5.0을 설치했습니다. 그리고 위의 그래프, 스트리밍 루프, create_agent를 BroadNet의 chat completions 형식을 흉내 내고 도구 호출을 돌려주는 로컬 모의 서버에서 실행한 뒤, 기록된 요청을 확인했습니다. 모든 호출이 /v1/chat/completions로 갔고, 모델 ID broadnet/glm-5.3 값이 바뀌지 않았으며, Bearer 키와 도구 스키마가 포함되었습니다. 도구 결과는 tool 메시지로 돌아왔습니다. BroadNet 키가 없었기 때문에 실제 모델 출력은 테스트하지 않았습니다.
문제 해결
- 401. 키가 잘못되었거나, 만료되었거나, 사용 가능 금액이 소진된 것입니다.
- 404.
base_url은/v1로 끝나야 합니다.broadnet/접두사를 포함해 모델 ID를 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는broadnet/gemma-4-26b-a4b모델과 Transcribe 모델 두 개만 쓸 수 있습니다. - 에이전트가 도구를 전혀 호출하지 않음.
broadnet/glm-5.3또는broadnet/qwen3.8-27b모델로 바꾸세요. - 빈 답변. 출력 예산을 추론에 다 썼습니다.
max_tokens를 늘리세요. 답변이 비어서 오는 이유를 참고하세요. - 429. 종량제 키는 분당 30 요청까지 허용합니다.
ChatOpenAI에max_retries를 추가하고 오류와 재시도를 참고하세요.
