---
title: "LlamaIndex OpenAILike con api_base personalizzato | BroadRouter"
description: "Collega LlamaIndex a BroadNet Inference con la classe OpenAILike, impostando bene api_base, context_window, is_chat_model e is_function_calling_model."
url: https://broadrouter.com/it/guides/llamaindex-openailike/
lang: it
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/guides/llamaindex-openailike/) (aggiornato il 2026-11-16).

# Usare LlamaIndex con BroadNet Inference tramite OpenAILike

Aggiornato 2026-11-16

Installa llama-index-llms-openai-like e crea OpenAILike con model impostato su un ID BroadNet come broadnet/glm-5.3, api\_base su https://inference.broadnet.ai/v1, la tua chiave BroadNet, context\_window pari al contesto reale del modello, is\_chat\_model=True e is\_function\_calling\_model=True solo per GLM 5.3 o Qwen3.8 27B. Assegnalo a Settings.llm per usarlo ovunque.

LlamaIndex è un framework Python per RAG e agenti. Per qualsiasi API compatibile con OpenAI che non sia OpenAI stessa, offre la classe `OpenAILike`. BroadNet Inference serve chat completions standard su `https://inference.broadnet.ai/v1`. BroadRouter è il sito di BroadNet; questa guida segue il riferimento API di LlamaIndex per `llama-index-llms-openai-like` 0.9.0.

## Installazione

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## Connessione e test

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

Se viene stampata una risposta, chiave, URL e ID del modello funzionano. Il commento nel codice ricorda che il ragionamento conta in questo limite.

## Le quattro impostazioni che contano

| Parametro | Impostalo su | Default se non lo imposti |
| --- | --- | --- |
| `is_chat_model` | `True` | `False`, che usa il vecchio endpoint completions; BroadNet serve chat completions |
| `context_window` | Il contesto reale del modello | 3.900 token |
| `is_function_calling_model` | `True` solo per GLM 5.3 o Qwen3.8 27B | `False` |
| `max_tokens` | 1.000 o più | None (non viene inviato, quindi decide il server) |

`is_chat_model` è il più importante. Il riferimento API dice che “controls whether the model uses the chat or completion endpoint” (traduzione: controlla se il modello usa l’endpoint chat o quello completion) e che il default è false. La documentazione di BroadNet elenca `/v1/chat/completions`, non il vecchio endpoint completions.

## Usarlo in tutta l’app

```python
from llama_index.core import Settings

Settings.llm = llm
```

Query engine, chat engine e agenti useranno quindi BroadNet. Gli embedding sono a parte: il riferimento API di BroadNet non elenca un endpoint per gli embedding, quindi tieni un modello di embedding diverso per l’indicizzazione.

## Finestre di contesto

| Modello | ID | `context_window` | Strumenti |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | Sì |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | Non indicati |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | Sì |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | Non indicati |

Un contesto da 1M di token permette a un query engine di passare molti più chunk recuperati per chiamata. Non sempre è meglio; vedi [contesto lungo o RAG](https://broadrouter.com/it/blog/long-context-vs-rag/).

## Risoluzione dei problemi

-   **401.** La chiave è sbagliata, scaduta o ha esaurito la quota.
-   **404.** `api_base` deve finire con `/v1`, e `is_chat_model` deve essere `True`. Poi controlla l’ID del modello. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solo `broadnet/gemma-4-26b-a4b` e i due modelli Transcribe.
-   **Risposte vuote.** Il ragionamento ha consumato il budget di output. Alza `max_tokens`. [Perché le risposte arrivano vuote](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/).
-   **L’agente non chiama mai gli strumenti.** Imposta `is_function_calling_model=True` e usa `broadnet/glm-5.3` o `broadnet/qwen3.8-27b`.
-   **429 durante l’ingestion o le query in batch.** Una chiave a consumo consente 30 richieste al minuto e 4 in corso contemporaneamente. Per default OpenAILike riprova 3 volte (`max_retries`). Vedi [errori e retry](https://broadrouter.com/it/guides/errors-and-retries/).

## Termini in questa guida

[Embedding (embeddings)](https://broadrouter.com/it/glossary/embeddings/)

Gli embedding sono liste di numeri in virgola mobile (vettori) che un modello produce per rappresentare un testo, un’immagine o un altro input. Input con significato simile ottengono vettori vicini tra loro, quindi la distanza tra vettori serve a ordinare i risultati di ricerca, raggruppare documenti o trovare elementi correlati.

[Token](https://broadrouter.com/it/glossary/token/)

Un token è l’unità di testo che un modello linguistico legge e scrive: una parola, una parte di parola, un segno di punteggiatura o una sequenza di byte prodotta dal tokenizer del modello. Le API LLM contano, limitano e di solito fatturano l’uso in token.

[Pagamento a consumo (pay-as-you-go)](https://broadrouter.com/it/glossary/pay-as-you-go/)

Il pagamento a consumo è un modello di prezzo in cui paghi solo ciò che usi, misurato per unità come token, richieste o minuti di audio, senza abbonamento né impegno minimo. La maggior parte delle API LLM fattura così, da un saldo prepagato o con una fattura periodica.

[Chat Completions API](https://broadrouter.com/it/glossary/chat-completions-api/)

La Chat Completions API è l’endpoint HTTP di OpenAI, POST /v1/chat/completions, che riceve il nome di un modello e una lista di messaggi con un ruolo e restituisce il messaggio successivo del modello. La forma della sua richiesta e risposta è diventata il formato comune che riusano provider e SDK compatibili con OpenAI.

[Concorrenza (concurrency)](https://broadrouter.com/it/glossary/concurrency/)

La concorrenza è il numero di richieste che un client ha in corso nello stesso momento. Le API LLM spesso la limitano per chiave o per piano, separatamente dalle richieste al minuto, perché ogni richiesta aperta occupa capacità GPU finché la sua risposta non è terminata.

[Rate limit (limite di frequenza)](https://broadrouter.com/it/glossary/rate-limit/)

Un rate limit è un tetto che un’API pone a quanto un client può usarla in un intervallo di tempo, per esempio richieste al minuto o token al minuto. Le richieste oltre il limite vengono rifiutate, di solito con HTTP 429 Too Many Requests, finché l’uso non torna sotto la soglia.

[Tool calling (chiamata di strumenti)](https://broadrouter.com/it/glossary/tool-calling/)

Il tool calling, detto anche function calling, è una funzionalità delle API LLM in cui il modello restituisce una richiesta strutturata di eseguire una funzione definita dallo sviluppatore, con argomenti JSON. L’applicazione esegue la funzione e rimanda il risultato; il modello non esegue mai codice da solo.

[API compatibile con OpenAI](https://broadrouter.com/it/glossary/openai-compatible-api/)

Un’API compatibile con OpenAI è un’API HTTP che accetta gli stessi formati di richiesta e di risposta dell’API di OpenAI, come POST /v1/chat/completions, così SDK e strumenti di OpenAI possono usarla cambiando solo base URL, chiave API e nome del modello.

## Domande frequenti

### Perché non usare la classe OpenAI di LlamaIndex con un altro api\_base?

La pagina OpenAI di LlamaIndex dice di usare l’integrazione OpenAILike per qualsiasi API compatibile con OpenAI che non sia l’API ufficiale di OpenAI. OpenAILike permette anche di dichiarare tu la finestra di contesto e il supporto agli strumenti.

### Cosa succede se non imposto context\_window?

OpenAILike usa di default 3.900 token, quindi LlamaIndex taglia prompt e chunk recuperati molto al di sotto di ciò che accettano i modelli di BroadNet. Imposta 1048576 per GLM 5.3 e DeepSeek V4.1 Flash, oppure 262144 per Qwen3.8 27B.

### Un FunctionAgent di LlamaIndex può usare BroadNet?

Sì, con is\_function\_calling\_model=True su un modello per cui BroadNet indica gli strumenti, GLM 5.3 o Qwen3.8 27B. Lascialo a False per DeepSeek V4.1 Flash, per cui la documentazione di BroadNet non indica il tool calling.

### BroadNet fornisce embedding per un indice LlamaIndex?

Il riferimento API di BroadNet elenca chat completions e trascrizioni audio, non embedding. Usa un modello di embedding separato per l’indice e BroadNet per l’LLM.

## Guide correlate

-   [Usare LangChain con BroadNet Inference](https://broadrouter.com/it/guides/langchain-openai-base-url/)
-   [Usare Pydantic AI con BroadNet Inference (OpenAICompatibleProvider)](https://broadrouter.com/it/guides/pydantic-ai-openai-compatible/)
-   [Usare l’SDK Python di OpenAI con BroadNet Inference](https://broadrouter.com/it/guides/openai-python-sdk/)
-   [Perché un modello di ragionamento restituisce una risposta vuota](https://broadrouter.com/it/guides/reasoning-tokens-empty-response/)
-   [Tutti gli strumenti che funzionano con BroadNet Inference (in inglese)](https://broadrouter.com/integrations/): SDK, agenti di coding, interfacce di chat e strumenti di automazione, con le impostazioni esatte per ciascuno

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-guides-llamaindex-openailike&utm_content=page-cta) ·

**Fonti**

-   [Riferimento API di LlamaIndex, OpenAILike (verificato il 2026-11-15)](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [Documentazione di LlamaIndex, esempio OpenAILike (pagina dell’integrazione Grok) (verificata il 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [Documentazione di LlamaIndex, pagina dell’LLM OpenAI (rimanda a OpenAILike per le API compatibili) (verificata il 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI, llama-index-llms-openai-like 0.9.0, Python 3.11+ (verificato il 2026-11-15)](https://pypi.org/project/llama-index-llms-openai-like/)
-   [Codice sorgente di LlamaIndex, default di max\_tokens e payload dell’LLM OpenAI (verificato il 2026-11-16)](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [Riferimento API di BroadNet Inference (verificato il 2026-11-15) (in inglese)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-guides-llamaindex-openailike&utm_content=sources)
