BroadRouter
시작하기

데이터 비보관(ZDR) LLM API: 확인해야 할 질문 10가지

BroadNet Inference 팀 · 5분 분량 · 게시 · 업데이트

데이터 비보관(ZDR) LLM API는 프롬프트와 출력을 요청 처리에만 쓰고, 그 뒤에는 로그, 캐시, 학습 데이터 어디에도 저장하지 않습니다. 무엇을 남기는지(보통 내용이 없는 사용 기록), 얼마나 오래 남기는지, GPU를 누가 운영하는지, 보관 여부를 어떻게 검증하는지 물어보세요. BroadNet Inference는 프롬프트, 이미지, 오디오, 답변을 보관하지 않고 게이트웨이가 내용을 보관하지 않도록 설정되어 있는지 매시간 점검합니다.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

코딩 에이전트는 저장소 전체를 보냅니다. 지원 봇은 고객 메시지를 보냅니다. 전사 파이프라인은 통화를 보냅니다. 이런 데이터가 LLM API로 가기 전에 누군가는 반드시 묻습니다. 답변이 돌아온 뒤 그 데이터는 어떻게 되나요? 사람들이 듣고 싶은 답은 “데이터 비보관”(ZDR)이지만, 이 말이 가리키는 관행은 제각각입니다.

데이터 비보관은 무엇을 포괄해야 하나요?

요청이 끝난 뒤 남아서는 안 되는 내용:

  • 프롬프트, 시스템 프롬프트, 도구 결과
  • 이미지와 오디오
  • 모델 출력과 전사 결과
  • 디버그 로그를 포함한 요청과 응답 본문 전체
  • 원본 URL, 쿼리 문자열, 인증 값

보통 남기는 기록이며, 내용이 없어야 하는 것:

  • 요청 ID, 처리 시간, HTTP 상태, 바이트 수
  • 계정과 키 ID, 모델, 토큰 수, 비용
  • 보안을 위한 클라이언트 IP 주소

각 항목이 어느 목록에 속하는지 제공업체가 답하지 못한다면 “아니요”로 간주하세요.

학습, 보관, ZDR은 같은 약속인가요?

약속 뜻하는 것 뜻하지 않는 것
“학습에 사용하지 않음” 데이터가 향후 모델 학습에 쓰이지 않음 일정 기간 저장될 수는 있음
“N일 동안 보관” 내용을 보관한 뒤 삭제함 그동안 직원이나 시스템이 접근할 수 있음
“데이터 비보관” 요청 후 내용을 저장하지 않음 메타데이터는 여전히 남음

대형 제공업체를 보면 이 차이가 왜 중요한지 알 수 있습니다. 여러 제공업체의 공식 문구를 나란히 비교한 내용은 LLM API 데이터 보관 정책 비교를 참고하세요. OpenAI의 데이터 제어 페이지는 2023년 3월 1일부터 API 데이터가 기본적으로 자사 모델 학습에 사용되지 않는다고 밝힙니다. 같은 페이지는 악용 모니터링 로그가 “are retained for up to 30 days”(번역: 최대 30일 동안 보관됩니다)이고, ZDR 설정은 “are subject to prior approval by OpenAI”(번역: OpenAI의 사전 승인이 필요합니다)이며, 파일, 어시스턴트, 배치처럼 상태를 저장하는 엔드포인트는 대상이 아니라고도 설명합니다. 제공업체가 세 가지 모두에 대해 정직하더라도 기본 설정으로는 한 달 동안 내용을 보관할 수 있는 것입니다.

ZDR 약속에는 보통 어디에 빈틈이 있나요?

  • 적용 자격. ZDR에는 승인, 특정 플랜, 계약이 필요할 수 있으며, 켜기 전까지는 꺼져 있습니다.
  • 엔드포인트 범위. 채팅은 해당되지만 파일 저장, 배치, 파인튜닝은 해당되지 않을 수 있습니다.
  • 안전 관련 예외. 예를 들어 OpenRouter FAQ는 ZDR을 “no routine storage of prompts or responses after processing, apart from a CSAM exception”(번역: CSAM 예외를 제외하고 처리 후 프롬프트나 응답을 일상적으로 저장하지 않음)으로 정의합니다.
  • 모델 위의 계층. 중간에 있는 게이트웨이, 라우터, 관측 도구는 모델 제공업체가 저장하지 않아도 프롬프트를 기록할 수 있습니다. 모든 계층에 물어보세요.
  • 여러분 자신의 시스템. 앱 로그, 오류 추적기, 분석 도구가 제공업체보다 더 많은 내용을 남기는 경우가 많습니다.

제공업체에 물어볼 질문 10가지는 무엇인가요?

  1. 요청 후 프롬프트와 출력이 어디든 저장되나요? 로그, 캐시, 큐, 백업을 포함해서 물어보세요.
  2. 어떤 내용이든 학습이나 평가에 쓰이나요? 제공업체 자신이든 모델 공급사든 포함해서요.
  3. 필드별로 무엇을 남기나요? 목록을 요청하세요.
  4. 사용 기록은 얼마나 오래, 왜 보관하나요?
  5. GPU는 누가 운영하나요? 제공업체 자신인가요, 클라우드인가요, 아니면 재판매자의 재판매자인가요?
  6. 어떤 하위 처리자가 요청 내용을 볼 수 있나요?
  7. 보관 여부는 어떻게 검증하나요? 정책만 있나요, 자동 점검이 있나요?
  8. 키를 제 IP 주소로 잠글 수 있나요? 유출된 키도 데이터 경로입니다.
  9. 하드웨어는 어디에 있고, 지역 배치가 가능한가요?
  10. 지원 티켓을 열면 어떻게 되나요? 버그를 신고할 때 직원이 내용을 볼 수 있나요?

답변은 서면으로 받고, 어느 문서가 그 답변에 구속력을 주는지 기록해 두세요. 이용 약관인지, 개인정보 처리 방침인지, 서명한 계약인지 말입니다.

BroadNet Inference는 이 질문에 어떻게 답하나요?

질문 BroadNet Inference
프롬프트, 이미지, 오디오, 답변 저장 아니요. 요청 처리에만 쓰고 보관하지 않음
데이터로 학습 아니요. 개인정보 처리 방침이 추론 데이터를 학습, 파인튜닝, 평가에 쓰는 것을 배제함
남기는 것 내용이 없는 트래픽, 사용량, 계정 기록(전체 목록)
기록 보관 기간 과금, 세금, 보안, 법적 의무가 요구하는 기간
검증 게이트웨이 설정이 내용을 남기지 않는지 매시간 점검
하드웨어 개인정보 처리 방침에 따르면 호스팅 모델은 “BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(번역: 미국 내 BroadNet 소유 또는 임차 하드웨어, 파트너 용량을 백업으로)에서 실행되며, 파트너가 제공하는 모델은 데이터 비보관 조건으로 미국 추론 파트너가 실행
데이터 상주 상주 요건이 있는 데이터를 보내기 전에 BroadNet과 처리 위치 협의(GDPR 체크리스트)
키 보호 IP 허용 목록, 항목 최대 32개. 변경과 폐기는 5초 안에 새 요청에 적용
저장된 키 SHA-256 해시만 저장. 원본 키는 한 번만 표시

BroadNet 문서는 데이터 비보관을 “built into how we serve requests, not only stated in policy”(번역: 정책에만 적힌 것이 아니라 요청을 처리하는 방식 자체에 내장됨)라고 설명합니다. 모든 요청에 적용되며, 따로 켤 설정이 없습니다. 자세한 내용은 개인정보 처리 방침에 있습니다.

ZDR은 음성과 아랍어 오디오에도 적용되나요?

음성은 대부분의 제품이 다루는 입력 중 가장 민감합니다. 음성 메모 하나에 10초 만에 이름, 전화번호, 건강 정보가 담길 수 있습니다. 통화나 WhatsApp 음성 메모를 전사한다면 오디오와 전사 결과에 대해서도 같은 질문 10가지를 하세요. 아랍어 음성 인식(STT) API 구매 가이드를 참고하세요.

제공업체의 답변은 어떻게 확인하나요?

  1. 마케팅 페이지만이 아니라 개인정보 처리 방침과 API 레퍼런스를 읽으세요. 필드별 목록이 있는지 찾아보세요.
  2. 범위를 확인하세요. 그 약속이 어떤 모델, 엔드포인트, 플랜에 적용되나요?
  3. API가 무엇을 반환하는지 보세요. 대시보드에 과거 프롬프트가 보인다면 어딘가에 저장되어 있는 것입니다.
  4. 지원 절차를 물어보세요. 티켓을 열면 누가 무엇을 볼 수 있나요?
  5. 답변을 공급업체 기록에 적어 두세요. 링크와 확인한 날짜도 함께 남기세요.

ZDR이 해결하지 못하는 것은 무엇인가요?

데이터 비보관은 요청이 제공업체에 도달한 뒤에 일어나는 일을 보호합니다. 여전히 다음이 필요합니다.

  • API 키는 브라우저나 모바일 앱이 아니라 서버에 두기
  • IP 허용 목록으로 키를 송신 IP에 잠그기
  • 카드 번호처럼 모델에 필요 없는 정보는 가리기(보내기 전에 가리는 방법)
  • 제공업체가 내용을 저장하지 않아도 디버그할 수 있도록 내 쪽에서 요청 ID 기록하기. 지원팀에 무엇을 보내야 하는지는 오류 가이드에 있습니다

앱을 한 제공업체에서 다른 곳으로 옮길 때는 이 점검 항목을 전환 체크리스트에 추가하세요. 게이트웨이를 거친다면 게이트웨이에도 같은 질문을 하세요. OpenRouter 비교에서 라우터 하나가 ZDR을 어떻게 다루는지 볼 수 있습니다.

BroadNet Inference는 어디에 적합한가요?

BroadNet Inference는 따로 신청하지 않아도 모든 요청에 ZDR이 적용되기를 원하는 팀에 맞습니다. 개인정보 처리 방침에 따르면 데이터 비보관 조건으로 미국 추론 파트너가 실행하는 파트너 호스팅 모델도 포함됩니다. 다른 모든 제공업체처럼 과금과 보안을 위한 내용 없는 기록은 남깁니다. 특정 지역에서 데이터를 처리해야 한다면 데이터를 보내기 전에 BroadNet과 처리 위치를 협의하세요. 자체 모델과 호스팅 모델의 기본 처리 위치는 미국입니다.

자주 묻는 질문

LLM API에서 데이터 비보관은 무슨 뜻인가요?

제공업체가 요청에 답하기 위해 프롬프트, 파일, 출력을 처리하고, 그 뒤에는 로그, 캐시, 백업, 학습 데이터를 포함해 어디에도 그 내용을 저장하지 않는다는 뜻입니다. 처리 시간이나 토큰 수처럼 내용이 없는 기록은 보통 계속 남습니다.

데이터 비보관이면 로그가 전혀 없다는 뜻인가요?

아니요. 제공업체는 처리 시간, 토큰 수, 비용, 상태 코드, IP 주소 같은 운영 기록을 남깁니다. 데이터 비보관은 그 기록에 프롬프트나 출력 내용이 없다는 뜻입니다.

"데이터로 학습하지 않습니다"는 데이터 비보관과 같은 말인가요?

아니요. 제공업체는 API 데이터로 학습하지 않겠다고 약속하면서도, 예를 들어 악용 모니터링을 위해 일정 기간 데이터를 보관할 수 있습니다. OpenAI 문서는 API 데이터가 기본적으로 학습에 사용되지 않으며, 악용 모니터링 로그는 최대 30일 동안 보관된다고 밝힙니다.

BroadNet Inference에서 제 프롬프트가 모델 학습에 쓰이나요?

아니요. BroadNet의 개인정보 처리 방침은 추론 데이터를 "to train, fine-tune or evaluate models"(번역: 모델 학습, 파인튜닝, 평가 목적으로) 사용하지 않는다고 밝히며, 프롬프트, 이미지, 오디오, 답변, 전사 결과는 요청 후 보관되지 않습니다.

데이터 비보관이면 GDPR 요건을 충족하나요?

도움은 되지만 그것만으로 해결되지는 않습니다. 적법한 처리 근거, 처리 활동 기록, 처리자별 계약이 여전히 필요합니다. 개인정보 보호 책임자에게 확인하세요. ZDR은 제공업체가 보유하는 데이터를 줄일 뿐, 여러분의 의무를 줄여 주지는 않습니다.

BroadNet은 모델을 어디에서 실행하나요?

BroadNet의 개인정보 처리 방침에 따르면 자체 모델과 호스팅하는 오픈 웨이트 모델은 미국에 있는 BroadNet 소유 또는 임차 하드웨어에서 실행되며, 파트너 용량을 백업으로 둡니다. 파트너가 제공하는 모델은 데이터 비보관 조건으로 미국 추론 파트너가 실행합니다. 데이터 상주 요건이 있는 데이터를 보내기 전에 BroadNet과 처리 위치를 협의하세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기