---
title: "LlamaIndex OpenAILike에 커스텀 api_base 설정하기 | BroadRouter"
description: "OpenAILike 클래스로 LlamaIndex를 BroadNet Inference에 연결하고 api_base, context_window, is_chat_model, is_function_calling_model을 올바르게 설정하는 방법입니다."
url: https://broadrouter.com/ko/guides/llamaindex-openailike/
lang: ko
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/guides/llamaindex-openailike/) (2026-11-16 업데이트).

# OpenAILike로 LlamaIndex와 BroadNet Inference 연결하기

업데이트 2026-11-16

llama-index-llms-openai-like를 설치하고 OpenAILike를 만드세요. model은 broadnet/glm-5.3 같은 BroadNet ID, api\_base는 https://inference.broadnet.ai/v1, 키는 BroadNet 키, context\_window는 모델의 실제 컨텍스트, is\_chat\_model=True로 두고, is\_function\_calling\_model=True는 GLM 5.3이나 Qwen3.8 27B에만 설정합니다. 앱 전체에서 쓰려면 Settings.llm에 지정하세요.

LlamaIndex는 RAG와 에이전트를 위한 Python 프레임워크입니다. OpenAI 자체가 아닌 OpenAI 호환 API를 위해 `OpenAILike` 클래스를 제공합니다. BroadNet Inference는 `https://inference.broadnet.ai/v1` 주소에서 표준 chat completions를 제공합니다. BroadRouter는 BroadNet이 운영하는 사이트입니다. 아래 내용은 `llama-index-llms-openai-like` 0.9.0의 LlamaIndex API 레퍼런스를 따릅니다.

## 설치

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## 연결하고 테스트하기

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

답이 출력되면 키, URL, 모델 ID가 모두 맞는 것입니다.

## 중요한 설정 네 가지

| 파라미터 | 설정값 | 설정하지 않을 때의 기본값 |
| --- | --- | --- |
| `is_chat_model` | `True` | `False`. 레거시 completions 엔드포인트를 쓰지만, BroadNet은 chat completions를 제공합니다 |
| `context_window` | 모델의 실제 컨텍스트 | 3,900 토큰 |
| `is_function_calling_model` | GLM 5.3이나 Qwen3.8 27B에서만 `True` | `False` |
| `max_tokens` | 1,000 이상 | None(전송하지 않으므로 서버가 결정) |

가장 중요한 것은 `is_chat_model`입니다. API 레퍼런스는 이 값이 “controls whether the model uses the chat or completion endpoint”(번역: 모델이 chat 엔드포인트와 completion 엔드포인트 중 무엇을 쓸지 정한다)라고 설명하며, 기본값은 false입니다. BroadNet 문서에는 `/v1/chat/completions`가 있고, 예전 completions 엔드포인트는 없습니다.

## 앱 전체에서 쓰기

```python
from llama_index.core import Settings

Settings.llm = llm
```

그러면 쿼리 엔진, 채팅 엔진, 에이전트가 BroadNet을 씁니다. 임베딩은 별개입니다. BroadNet API 레퍼런스에는 임베딩 엔드포인트가 없으므로, 인덱싱에는 다른 임베딩 모델을 쓰세요.

## 컨텍스트 윈도

| 모델 | ID | `context_window` | 도구 |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | 예 |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | 표기 없음 |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | 예 |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | 표기 없음 |

100만 토큰 컨텍스트에서는 쿼리 엔진이 호출마다 훨씬 많은 검색 청크를 넘길 수 있습니다. 그렇다고 늘 더 나은 것은 아닙니다. [긴 컨텍스트와 RAG 비교](https://broadrouter.com/ko/blog/long-context-vs-rag/)를 참고하세요.

## 문제 해결

-   **401.** 키가 잘못되었거나, 만료되었거나, 사용 가능 금액이 소진된 것입니다.
-   **404.** `api_base`는 `/v1`로 끝나야 하고, `is_chat_model`은 `True`여야 합니다. 그다음 모델 ID를 확인하세요. 유료 모델은 충전이 필요하며, 초기 크레딧($5 상당)으로는 `broadnet/gemma-4-26b-a4b` 모델과 Transcribe 모델 두 개만 쓸 수 있습니다.
-   **빈 답변.** 출력 예산을 추론에 다 썼습니다. `max_tokens`를 늘리세요. [답변이 비어서 오는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)를 참고하세요.
-   **에이전트가 도구를 전혀 호출하지 않음.** `is_function_calling_model=True`로 설정하고 `broadnet/glm-5.3` 또는 `broadnet/qwen3.8-27b` 모델을 쓰세요.
-   **수집(ingestion)이나 일괄 쿼리 중 429.** 종량제 키는 분당 30 요청, 동시 처리 4 건까지 허용합니다. OpenAILike는 기본적으로 3번 재시도합니다(`max_retries`). [오류와 재시도](https://broadrouter.com/ko/guides/errors-and-retries/)를 참고하세요.

## 이 가이드의 용어

[종량제(Pay-as-you-go)](https://broadrouter.com/ko/glossary/pay-as-you-go/)

종량제(pay-as-you-go)는 구독이나 최소 약정 없이 토큰, 요청, 오디오 분 같은 단위로 사용량을 측정해 쓴 만큼만 내는 요금 방식입니다. 대부분의 LLM API가 선불 잔액에서 차감하거나 정기 청구서를 발행하는 식으로 이렇게 과금합니다.

[임베딩(embedding)](https://broadrouter.com/ko/glossary/embeddings/)

임베딩은 모델이 텍스트, 이미지 등의 입력을 표현하기 위해 만드는 부동소수점 숫자 목록(벡터)입니다. 의미가 비슷한 입력은 서로 가까운 벡터를 얻으므로, 벡터 사이의 거리로 검색 결과의 순위를 매기거나 문서를 군집화하거나 관련 항목을 찾을 수 있습니다.

[동시 처리(concurrency)](https://broadrouter.com/ko/glossary/concurrency/)

동시 처리(concurrency)는 클라이언트가 같은 시점에 진행 중인 요청 수입니다. LLM API는 분당 요청 수와 별도로 키나 플랜마다 이를 제한하는 경우가 많습니다. 열려 있는 요청은 응답이 끝날 때까지 GPU 용량을 차지하기 때문입니다.

[속도 제한(rate limit)](https://broadrouter.com/ko/glossary/rate-limit/)

속도 제한(rate limit)은 API가 일정 시간 동안 클라이언트가 사용할 수 있는 양에 두는 상한으로, 분당 요청 수나 분당 토큰 수 같은 기준이 있습니다. 한도를 넘은 요청은 사용량이 다시 한도 아래로 내려갈 때까지 거부되며, 보통 HTTP 429 Too Many Requests가 반환됩니다.

[OpenAI 호환 API(OpenAI-compatible API)](https://broadrouter.com/ko/glossary/openai-compatible-api/)

OpenAI 호환 API는 POST /v1/chat/completions처럼 OpenAI API와 같은 요청 및 응답 형식을 받는 HTTP API입니다. 그래서 OpenAI SDK와 도구는 base URL, API 키, 모델 이름만 바꾸면 이 API를 그대로 사용할 수 있습니다.

## 자주 묻는 질문

### LlamaIndex의 OpenAI 클래스에 api\_base만 바꿔 쓰면 안 되나요?

LlamaIndex의 OpenAI 페이지는 공식 OpenAI API가 아닌 OpenAI 호환 API에는 OpenAILike 통합을 쓰라고 안내합니다. OpenAILike에서는 컨텍스트 윈도와 도구 지원 여부도 직접 지정할 수 있습니다.

### context\_window를 지정하지 않으면 어떻게 되나요?

OpenAILike의 기본값은 3,900 토큰이라, LlamaIndex가 프롬프트와 검색된 청크를 BroadNet 모델이 받을 수 있는 양보다 훨씬 적게 잘라 냅니다. GLM 5.3과 DeepSeek V4.1 Flash에는 1048576, Qwen3.8 27B에는 262144를 설정하세요.

### LlamaIndex FunctionAgent에서 BroadNet을 쓸 수 있나요?

네. BroadNet이 도구 지원으로 표기한 GLM 5.3이나 Qwen3.8 27B에서 is\_function\_calling\_model=True로 설정하면 됩니다. BroadNet 문서에 도구 호출이 표기되지 않은 DeepSeek V4.1 Flash에서는 False로 두세요.

### BroadNet이 LlamaIndex 인덱스용 임베딩을 제공하나요?

BroadNet API 레퍼런스에는 chat completions와 오디오 전사만 있고 임베딩은 없습니다. 인덱스에는 별도의 임베딩 모델을 쓰고, LLM으로 BroadNet을 쓰세요.

## 관련 가이드

-   [BroadNet Inference에서 LangChain 사용하기](https://broadrouter.com/ko/guides/langchain-openai-base-url/)
-   [BroadNet Inference에서 Pydantic AI 사용하기(OpenAICompatibleProvider)](https://broadrouter.com/ko/guides/pydantic-ai-openai-compatible/)
-   [BroadNet Inference에서 OpenAI Python SDK 사용하기](https://broadrouter.com/ko/guides/openai-python-sdk/)
-   [추론 모델이 빈 답변을 반환하는 이유](https://broadrouter.com/ko/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference와 함께 쓸 수 있는 모든 도구 (영어)](https://broadrouter.com/integrations/): SDK, 코딩 에이전트, 채팅 UI, 자동화 도구와 각 도구의 정확한 설정

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-llamaindex-openailike&utm_content=page-cta) ·

**출처**

-   [LlamaIndex API 레퍼런스, OpenAILike(2026-11-15 확인)](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [LlamaIndex 문서, OpenAILike 예제(Grok 통합 페이지)(2026-11-15 확인)](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [LlamaIndex 문서, OpenAI LLM 페이지(호환 API는 OpenAILike를 쓰라고 안내)(2026-11-15 확인)](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI, llama-index-llms-openai-like 0.9.0, Python 3.11 이상(2026-11-15 확인)](https://pypi.org/project/llama-index-llms-openai-like/)
-   [LlamaIndex 소스, OpenAI LLM의 max\_tokens 기본값과 페이로드(2026-11-16 확인)](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [BroadNet Inference API 레퍼런스(2026-11-15 확인) (영어)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-guides-llamaindex-openailike&utm_content=sources)
