La guía de la ventana de contexto de 1M de tokens explica qué cabe en un millón de tokens y cuánto cuesta una petición. Este artículo responde una pregunta más concreta que surge en toda revisión de arquitectura: ¿podemos eliminar la base de datos vectorial y el pipeline de RAG que la rodea? A veces, sí. Así se decide, en cuatro ejes: costo, latencia, recall y mantenimiento.
¿Cuándo sustituye el contexto largo a RAG?
Deben cumplirse las cuatro condiciones:
- El corpus cabe. El prompt más la respuesta y el razonamiento quedan dentro de la ventana de contexto con margen. En DeepSeek V4.1 Flash y GLM 5.3 esa ventana es de 1,048,576 tokens (comparativa de ambos). La calculadora de ventana de contexto comprueba si sus documentos caben.
- Cambia poco. Un manual que se actualiza cada mes sirve. Una cola de tickets que se actualiza cada minuto, no.
- Todos pueden verlo entero. Un único corpus compartido, sin permisos por usuario que filtrar.
- Las preguntas abarcan todo el corpus. «¿Qué contratos contradicen la nueva política?» necesita tenerlo todo a la vista; «¿cuál es el plazo de reembolso?», no.
Si alguna no se cumple, mantenga la recuperación o use un enfoque híbrido.
¿Cómo se compara el costo por consulta?
Tome un conjunto de documentos de 400,000 tokens y una pregunta con una respuesta de 500 tokens. RAG recupera, por ejemplo, 8,000 tokens de fragmentos. Con una clave de pago por uso y DeepSeek V4.1 Flash:
| Enfoque | Entrada por consulta | Costo de entrada por consulta |
|---|---|---|
| Contexto largo, primera consulta | 400,000 nuevos | 0.4 × $0.175 |
| Contexto largo, consulta repetida, prefijo en caché | unos 400,000 en caché | unos 0.4 × $0.0055 |
| RAG | 8,000 nuevos | 0.008 × $0.175 |
La salida es la misma en todos los casos: 500 tokens × $0.52 por 1M. (Cada multiplicador son millones de tokens por el precio por 1M.)
De aquí se siguen tres cosas. Sin caché, el contexto largo cuesta en entrada 50 veces lo que RAG por consulta, porque envía 50 veces más tokens. Con el corpus en caché, la diferencia se reduce mucho, ya que la entrada en caché en este modelo cuesta un pequeño porcentaje de la entrada nueva. Pero la caché solo se mantiene mientras el prefijo sea idéntico byte a byte, así que el corpus debe ir primero y no cambiar; vea estructura del prompt para la caché. RAG tiene costos propios que esta tabla no incluye: los embeddings del corpus, el almacén vectorial y el tiempo de ingeniería para ajustar el chunking. La calculadora de costo de embeddings pone precio a la parte de embeddings. La calculadora de chunking para RAG pone precio al lado de la consulta: fragmentos, tokens por consulta y la factura mensual del LLM.
Para ver cuánto vale su propia tasa de caché, pruebe la calculadora de caché de prompts. En un plan de tarifa plana la columna de entrada desaparece: Luna Llena (Full Moon) cuesta $60 al mes por sesión, sin contador de tokens, así que un prompt de 400,000 tokens cuesta lo mismo que uno corto.
¿Cómo se compara la latencia?
Un modelo lee el prompt entero antes de escribir el primer token. El tiempo hasta el primer token crece con la longitud del prompt, y un prompt de cientos de miles de tokens tarda bastante más en arrancar que uno de 8,000. Los prefijos en caché ayudan en muchos sistemas de servicio. La búsqueda vectorial en sí suele añadir poco; la llamada de recuperación es pequeña frente a la generación.
Así que para un asistente interactivo que debe responder en uno o dos segundos, RAG es la opción por defecto más segura. Para un analista que hace una pregunta de fondo y espera la respuesta, el contexto largo está bien. Mida el TTFT con sus propios prompts al tamaño que piensa enviar.
¿Cuál tiene mejor recall?
Ninguno es perfecto, y fallan de formas distintas.
El contexto largo puede perder datos en el medio (lost in the middle). El estudio Lost in the Middle observó que los modelos aprovechaban mejor la información cuando estaba al principio o al final de la entrada, y peor en medio. El benchmark RULER observó que modelos casi perfectos en pruebas sencillas de aguja en un pajar empeoraban en tareas más difíciles al crecer la entrada, y que de los modelos que declaraban 32K tokens o más, “only half of them” (Traducción: «solo la mitad de ellos») mantenían un rendimiento satisfactorio a 32K. Los modelos más nuevos lo hacen mejor, pero la ventana anunciada no es la ventana en la que se mantiene la calidad.
RAG falla antes de que empiece el modelo: si el recuperador no trae el pasaje, el modelo nunca lo ve. Las preguntas que necesitan muchos pasajes, o que usan palabras distintas a las de la fuente, son los fallos clásicos.
| Modo de fallo | Contexto largo | RAG |
|---|---|---|
| Dato enterrado en mitad del prompt | El riesgo crece con la longitud | Bajo, el prompt es corto |
| La respuesta necesita 20 pasajes dispersos | Fuerte | Débil salvo con un top-k grande |
| La consulta usa otras palabras que la fuente | Fuerte | Depende de los embeddings y el reranking |
| Corpus mayor que la ventana | No es posible | Fuerte |
Dos mitigaciones para el contexto largo: ponga la pregunta al final, después de los documentos, y pida al modelo que cite las líneas en que se basa.
¿Y el mantenimiento?
RAG es un sistema: chunking, embeddings, un índice, reindexación ante cambios, filtros de permisos y evaluación de la calidad de recuperación. El contexto largo es un prompt: concatene los archivos con etiquetas claras y envíe. Para un equipo pequeño con un corpus que cabe, eliminar el pipeline quita trabajo real. Para un corpus grande, cambiante y con permisos, el pipeline hace un trabajo que el contexto largo no puede hacer.
El híbrido al que llegan la mayoría de los equipos
- Recupere con generosidad: no cinco fragmentos, sino documentos completos, hasta unos cientos de miles de tokens.
- Ordénelos de forma estable (por ID de documento, no por puntuación) para que el prefijo se cachee entre preguntas relacionadas.
- Ponga la pregunta al final y envíela a un modelo de contexto largo.
- Pida citas a las etiquetas de los documentos y revise algunas.
Así conserva el alcance de RAG sobre un corpus enorme y la capacidad del contexto largo para razonar sobre muchas fuentes. También tolera un recuperador más débil, porque un documento que casi acierta sigue estando en el prompt.
Dónde encaja BroadNet Inference
BroadNet Inference ofrece dos modelos de 1M de tokens, DeepSeek V4.1 Flash y GLM 5.3, y no recorta su contexto, así que una petición demasiado grande falla en lugar de perder documentos en silencio. La entrada en caché se factura a la tarifa reducida de caché en una clave por token, y los planes ilimitados eliminan por completo el contador de tokens para DeepSeek V4.1 Flash. Su referencia de API lista chat completions y transcripción, no un endpoint de embeddings ni un almacén vectorial, así que la mitad de RAG la aporta usted. Deje espacio en la ventana para los tokens de razonamiento; la guía de razonamiento explica por qué. Los precios están en la página de precios.
