BroadRouter
시작하기

롱 컨텍스트 vs RAG: 100만 토큰이 벡터 DB를 대체할 때

BroadNet Inference 팀 · 5분 분량 · 게시 · 업데이트

코퍼스가 윈도우에 들어가고, 거의 바뀌지 않으며, 질문이 그 여러 부분을 한꺼번에 필요로 할 때는 롱 컨텍스트가 RAG를 대체합니다. 반복 쿼리는 캐싱으로 저렴하게 유지됩니다. 코퍼스가 윈도우보다 커지거나, 계속 갱신되거나, 사용자별 권한이 필요하거나, 1~2초 안에 답해야 한다면 여전히 RAG가 낫습니다. 많은 시스템이 RAG로 검색하고 롱 컨텍스트로 추론합니다.

100만 토큰 컨텍스트 윈도우 가이드는 100만 토큰에 무엇이 들어가는지, 요청 한 번에 비용이 얼마인지를 다룹니다. 이 글은 아키텍처 리뷰마다 나오는 더 좁은 질문에 답합니다. 벡터 데이터베이스와 그 주변의 RAG 파이프라인을 없애도 될까요? 경우에 따라서는 그렇습니다. 비용, 지연 시간, 재현율, 유지 관리라는 네 가지 축으로 판단하는 방법을 소개합니다.

롱 컨텍스트는 언제 RAG를 대체하나요?

다음 네 가지가 모두 참이어야 합니다.

  1. 코퍼스가 들어갑니다. 프롬프트, 답변, 추론을 합쳐도 여유를 두고 컨텍스트 윈도우 안에 머뭅니다. DeepSeek V4.1 Flash와 GLM 5.3의 윈도우는 1,048,576토큰입니다(두 모델 비교). 컨텍스트 윈도우 계산기로 문서가 들어가는지 확인할 수 있습니다.
  2. 거의 바뀌지 않습니다. 매달 갱신되는 매뉴얼은 괜찮습니다. 매분 갱신되는 티켓 대기열은 그렇지 않습니다.
  3. 모든 사람이 전부 볼 수 있습니다. 공유 코퍼스 하나에, 걸러 낼 사용자별 권한이 없습니다.
  4. 질문이 코퍼스 전체에 걸칩니다. “새 정책과 충돌하는 계약은 무엇인가?”는 모든 것을 봐야 하지만, “환불 기간은 얼마인가?”는 그렇지 않습니다.

하나라도 거짓이라면 검색을 유지하거나 하이브리드를 쓰세요.

쿼리당 비용은 어떻게 비교되나요?

40만 토큰짜리 문서 집합과 500토큰짜리 답변이 나오는 질문을 예로 들어 보겠습니다. RAG는 청크를 이를테면 8,000토큰 검색합니다. DeepSeek V4.1 Flash를 종량제 키로 쓰는 경우입니다.

방식 쿼리당 입력 쿼리당 입력 비용
롱 컨텍스트, 첫 쿼리 새 입력 400,000 0.4 × $0.175
롱 컨텍스트, 반복 쿼리, 프리픽스 캐시됨 캐시된 입력 약 400,000 약 0.4 × $0.0055
RAG 새 입력 8,000 0.008 × $0.175

출력은 어느 경우든 같습니다. 500토큰 × 100만 토큰당 $0.52 요금입니다. (각 배수는 백만 단위 토큰 수에 100만 토큰당 가격을 곱한 것입니다.)

여기서 세 가지를 알 수 있습니다. 캐싱이 없으면 롱 컨텍스트는 토큰을 50배 보내므로 쿼리당 입력 비용이 RAG의 50배입니다. 코퍼스가 캐시되면 차이가 크게 줄어듭니다. 이 모델에서 캐시된 입력은 새 입력의 몇 퍼센트 수준이기 때문입니다. 하지만 캐싱은 프리픽스가 바이트 단위로 동일할 때만 유지되므로, 코퍼스를 맨 앞에 두고 안정적으로 유지해야 합니다. 캐싱을 위한 프롬프트 구조를 참고하세요. RAG에는 이 표에 빠진 고유한 비용이 있습니다. 코퍼스 임베딩, 벡터 저장소 운영, 청킹 튜닝에 드는 엔지니어링 시간입니다. 임베딩 비용 계산기로 임베딩 부분의 비용을 계산할 수 있습니다. RAG 청킹 계산기는 쿼리 쪽, 즉 청크, 쿼리당 토큰, 월간 LLM 비용을 계산합니다.

내 캐시 적중률이 얼마의 가치가 있는지 보려면 프롬프트 캐싱 계산기를 써 보세요. 정액 플랜에서는 입력 열이 사라집니다. Full Moon은 세션당 월 $60 요금이며 토큰 계량이 없으므로, 40만 토큰 프롬프트도 짧은 프롬프트와 비용이 같습니다.

지연 시간은 어떻게 비교되나요?

모델은 첫 토큰을 쓰기 전에 프롬프트 전체를 읽습니다. 첫 토큰까지의 시간은 프롬프트 길이에 따라 늘어나며, 수십만 토큰짜리 프롬프트는 8,000토큰짜리보다 시작하는 데 눈에 띄게 오래 걸립니다. 많은 서빙 시스템에서는 캐시된 프리픽스가 도움이 됩니다. 벡터 검색 자체는 보통 크게 더하지 않습니다. 검색 호출은 생성에 비하면 작습니다.

따라서 1~2초 안에 답해야 하는 대화형 어시스턴트라면 RAG가 더 안전한 기본값입니다. 깊은 질문 하나를 던지고 답을 기다리는 분석가라면 롱 컨텍스트도 괜찮습니다. 실제로 보낼 크기의 프롬프트로 직접 TTFT를 측정하세요.

재현율은 어느 쪽이 더 좋나요?

둘 다 완벽하지 않으며, 실패하는 방식이 다릅니다.

롱 컨텍스트는 중간에 있는 사실을 놓칠 수 있습니다(lost in the middle). Lost in the Middle 연구는 정보가 입력의 처음이나 끝에 있을 때 모델이 가장 잘 활용하고, 그 사이에 있을 때는 덜 활용한다는 사실을 발견했습니다. RULER 벤치마크에서는 단순한 needle-in-a-haystack 테스트에서 거의 만점을 받은 모델들이 입력이 길어질수록 더 어려운 작업에서 성능이 떨어졌고, 32K 토큰 이상을 내세운 모델 중 “only half of them”(번역: 절반만)이 32K에서 만족스러운 성능을 유지했습니다. 최신 모델은 더 낫지만, 광고된 윈도우와 품질이 유지되는 윈도우는 같지 않습니다.

RAG는 모델이 시작하기도 전에 실패합니다. 검색기가 해당 구절을 놓치면 모델은 그 구절을 보지 못합니다. 여러 구절이 필요한 질문이나 원문과 다른 단어를 쓰는 질문이 대표적으로 놓치는 경우입니다.

실패 유형 롱 컨텍스트 RAG
프롬프트 중간에 묻힌 사실 길이에 따라 위험 증가 낮음, 프롬프트가 짧음
흩어진 구절 20개가 필요한 답변 강함 top-k가 크지 않으면 약함
질문의 표현이 원문과 다름 강함 임베딩과 리랭킹에 따라 다름
윈도우보다 큰 코퍼스 불가능 강함

롱 컨텍스트의 완화책은 두 가지입니다. 질문을 문서 뒤, 맨 끝에 두고, 모델에게 근거로 삼은 줄을 인용하라고 요청하세요.

유지 관리는 어떤가요?

RAG는 하나의 시스템입니다. 청킹, 임베딩, 인덱스, 변경 시 재인덱싱, 권한 필터, 검색 품질 평가가 필요합니다. 롱 컨텍스트는 프롬프트 하나입니다. 파일을 명확한 라벨과 함께 이어 붙여 보내면 됩니다. 코퍼스가 윈도우에 들어가는 작은 팀이라면 파이프라인을 없애는 것만으로 실제 작업이 줄어듭니다. 크고, 계속 바뀌고, 권한이 걸린 코퍼스라면 파이프라인은 롱 컨텍스트가 할 수 없는 일을 하고 있는 것입니다.

대부분의 팀이 결국 도달하는 하이브리드

  1. 넉넉하게 검색하세요. 청크 5개가 아니라 문서 전체를, 최대 수십만 토큰까지 가져옵니다.
  2. 순서를 안정적으로(점수가 아니라 문서 ID 순으로) 정렬해, 관련 질문들 사이에서 프리픽스가 캐시되게 하세요.
  3. 질문을 맨 뒤에 두고 롱 컨텍스트 모델에 보내세요.
  4. 문서 라벨을 인용하도록 요청하고, 무작위로 확인하세요.

이렇게 하면 거대한 코퍼스에 대한 RAG의 범위와, 여러 출처를 가로질러 추론하는 롱 컨텍스트의 능력을 모두 살릴 수 있습니다. 아깝게 빗나간 문서도 프롬프트 안에 남아 있으므로 검색기가 다소 약해도 견딜 수 있습니다.

BroadNet Inference는 어디에 적합한가요?

BroadNet Inference는 100만 토큰 모델 두 개, DeepSeek V4.1 Flash와 GLM 5.3을 제공하며 컨텍스트를 잘라내지 않습니다. 따라서 너무 큰 요청은 문서를 조용히 잃는 대신 실패합니다. 토큰당 과금 키에서는 캐시된 입력이 더 낮은 캐시 단가로 과금되며, 무제한 플랜에서는 DeepSeek V4.1 Flash의 토큰 계량이 아예 없습니다. API 레퍼런스에는 채팅 완성과 전사가 있을 뿐 임베딩 엔드포인트나 벡터 저장소는 없으므로, RAG 쪽은 직접 준비해야 합니다. 윈도우에 추론 토큰을 위한 공간을 남겨 두세요. 이유는 추론 가이드에서 설명합니다. 가격은 가격 페이지에 있습니다.

자주 묻는 질문

모델에 100만 토큰 컨텍스트 윈도우가 생겼으니 RAG는 이제 필요 없나요?

아닙니다. 롱 컨텍스트는 코퍼스 전체가 윈도우에 들어가고 안정적일 때 검색의 필요성을 없애 줍니다. 대부분의 회사 지식 베이스는 100만 토큰보다 크고, 매일 바뀌며, 권한 관리가 필요합니다. 이는 여전히 RAG의 영역입니다.

롱 컨텍스트가 RAG보다 정확한가요?

질문에 따라 다릅니다. 여러 구절을 종합해야 하는 답변에는 롱 컨텍스트가 더 낫습니다. 거대한 코퍼스에서 사실 하나를 찾는 경우에는 짧은 프롬프트가 모델의 집중을 유지해 주므로 RAG가 더 나을 수 있습니다. 실제 질문으로 둘 다 테스트하세요.

100만 토큰 컨텍스트 윈도우에는 단어가 몇 개나 들어가나요?

DeepSeek V4.1 Flash의 1,048,576토큰 윈도우에는 일반 영어 산문 기준 약 810,000 단어가 들어갑니다. BroadRouter 토크나이저 데이터셋에서 5개 토크나이저로 측정한 1,000단어당 1,290 토큰 기준입니다. 기술 영어, 코드, 표, 아랍어는 단어당 토큰이 더 많아 더 적게 들어갑니다. 답변과 추론을 위한 공간도 남겨 두세요.

RAG와 롱 컨텍스트를 함께 쓸 수 있나요?

네, 그리고 대개 가장 좋은 선택입니다. 예를 들어 후보 문서를 10만~20만 토큰 정도로 넉넉하게 검색한 다음, 상위 5개 청크가 아니라 그 전부를 롱 컨텍스트 모델이 추론하게 하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기