BroadRouter

Safety Map: LLM 39개는 민감한 데이터를 어떻게 다루나

BroadNet Inference 팀 · 3분 분량 · 게시 · 업데이트

Safety Map은 BroadNet이 2026년 4월에 공개한 프리프린트(DOI 10.5281/zenodo.19688433)입니다. 14개 연구소의 모델 39개를 자격 증명, 개인정보, 건강 데이터, 계좌 번호, DLP 스캔에 걸친 프로브 7개로 약 1,300회의 다회 실행 평가를 통해 테스트했습니다. 안전성은 범주나 출력 채널 사이에서 전이되지 않았습니다. 도구 호출 인수를 채운 실행 73회 중 20회가 그 경로로 유출했습니다.

Safety Map은 대규모 언어 모델이 민감한 데이터를 어떻게 다루는지에 대한 BroadNet의 조사입니다. 프리프린트 The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling은 2026년 4월 22일 Zenodo에 DOI 10.5281/zenodo.19688433으로 공개되었으며, 저자는 Mohammad Al Zubaidi입니다. BroadNet의 민감 데이터 평가 방법과 짝을 이루는 논문입니다.

아래 내용은 초록과 BroadNet 연구 페이지를 저희가 요약한 것입니다. 판정은 BroadNet의 판정입니다.

조사 범위는 어떻게 되나요?

항목 범위
모델 독립 연구소 14곳의 모델 39개
프로브 시나리오 7개
범주 자격 증명, 개인정보(PII), 보호 대상 건강 정보(PHI), 금융 계좌 번호, 데이터 유출 방지(DLP) 스캔
근거 다회 실행 평가 약 1,300회에서 나온, 분류된 모델-프로브 조합 135개 이상

BroadNet 카탈로그에 따르면 BroadNet은 자체 하드웨어에서 실행한 적 없는 원격 및 API 모델 약 90개를 안전성, 라우팅, 아랍어 테스트 하네스에 돌렸으며, 그 결과가 이 지도에 반영되었습니다.

주요 결과는 무엇인가요?

안전성은 점수 하나가 아니라 표면입니다. 서로 겹치는 세 가지 축에 따라 달라집니다.

  • 아키텍처. 논문은 라우팅 설계와 관계없이 자격 증명에서 활성 파라미터 약 24B의 용량 하한을 보고하며, 활성 파라미터가 작은 전문가 혼합 모델이 주된 사례입니다.
  • 세대. 같은 모델 계열 안에서도 정렬 품질이 경계를 움직입니다.
  • 연구소의 정렬 투자. 유명 연구소의 플래그십이라는 이름이 보장이 되지는 않습니다.

세 가지 중 어느 하나도 단독으로 안전성을 예측하지 못하며, 서로 결합됩니다.

안전성은 범주 사이에서 전이되지 않습니다. 같은 모델이라도 자격 증명과 사회보장번호를 깔끔하게 다룬다고 해서 이름, 건강 기록, 계좌 번호까지 그렇게 다루지는 않았습니다.

출력 채널은 각각 따로 유출합니다. 실무적으로 가장 무게가 큰 결과입니다.

  • tool_calls.arguments를 채운 실행 73회 중 20회가 도구 호출을 통해 민감한 값을 보냈습니다. 그 실행들의 모델 중에는 출시 당일에 테스트된 Moonshot Kimi K2.6이 있었는데, 논문이 자격 증명, 개인정보, 금융 데이터, DLP에서는 다회 실행 기준으로 안전하다고 평가한 모델입니다.
  • 제공업체가 reasoning_content를 20자 이상 채운 실행 43회 중 29회는 채팅 답변이 안전, 누락, 잘림으로 평가된 상태에서 추론 안에 민감한 값을 유출했습니다.

가지치기(pruning)는 안전성을 깨뜨릴 수 있습니다. NVIDIA가 신경망 구조 탐색으로 만든 Meta Llama 계열의 가지치기 버전 두 개가 서로 다른 출력 채널을 통해 건강 데이터 안전성을 잃었습니다.

논문은 5단계 순위로 끝납니다. 테스트한 모든 범주에서 일관되게 안전한 최상위 그룹은 Claude Opus 4.7, GPT-5.4와 GPT-5.4-mini, Gemini 3 Flash, Gemini 3.1 Pro입니다. 초록에 따르면 xAI Grok과 Meta Llama의 플래그십은 이 그룹에 들지 못합니다.

내 스택에서는 무엇을 바꿔야 하나요?

  1. 모든 채널을 필터링하세요. 보이는 답변만 검사하면 도구 호출 인수와 추론 필드를 놓칩니다. 도구 호출이나 추론 모델을 쓴다면 둘 다 검사하세요.
  2. 범주별로 테스트하세요. 자격 증명 결과가 깨끗하다고 건강 데이터나 급여 데이터에 대해 알 수 있는 것은 없습니다.
  3. 모델이 업데이트되면 다시 테스트하세요. Kimi K2.6 결과는 출시 당일 모델에서 나왔습니다.
  4. 가능하면 먼저 가리세요. 모델은 본 적 없는 것을 유출할 수 없습니다. 민감한 데이터 가이드에서 Python으로 플레이스홀더 마스킹을 하는 방법을 보여 줍니다.

LSDF란 무엇인가요?

LSDF(LLM Sensitive Data Firewall)는 BroadNet이 이 두 논문을 바탕으로 만들어 Apache-2.0 오픈소스로 github.com/brntech/lsdf에 공개한 통제 수단입니다. OpenAI 호환 chat completions API용 리버스 프록시로, 클라이언트의 base URL을 LSDF로 지정하면 모델 서버나 제공업체로 전달합니다. BroadNet에 따르면 LSDF는 요청, 응답, 스트리밍 청크, 스트리밍되는 도구 호출 인수, 검색된 컨텍스트, 추론 필드를 검사하고, 트레이스와 로그는 따로 정제합니다.

BroadNet이 자체 코퍼스로 2026년 5월에 수행한 평가는 다음과 같은 재현율(recall)을 보고합니다.

탐지기 구성 자격 증명 재현 임상 PHI 광범위한 영어 PII
정규식만 0.944 0.019 0.208
Microsoft Presidio 0.194 0.056 0.326
LSDF 광범위 PII 탐지기 1.000 0.944 0.685

이 수치는 공급업체가 직접 고른 코퍼스로 자사 도구를 평가한 결과입니다. 출발점으로는 유용하며, 저장소에 재현 스크립트가 포함되어 있어 직접 확인할 수 있습니다. LSDF는 BroadNet이 호스팅하지 않는 모델을 포함해 어떤 모델 앞에서도 동작합니다.

한계는 무엇인가요?

이 논문은 동료 심사를 거치지 않은 프리프린트입니다. BroadNet의 책임 있는 공개 정책에 따라 정확한 프롬프트, 자격 증명 형식, 임계값은 공개 버전에서 빠졌으며, 요청하면 모델 제공업체와 연구자에게 공유됩니다. 모델 버전은 빠르게 바뀌므로, 2026년 4월의 판정은 테스트를 대신하는 것이 아니라 테스트해야 할 이유입니다.

자주 묻는 질문

Safety Map에서 가장 좋은 결과를 낸 모델은 무엇인가요?

초록은 테스트한 모든 범주에서 일관되게 안전한 프런티어 정렬 그룹을 최상위에 둡니다. Claude Opus 4.7, GPT-5.4와 GPT-5.4-mini, Gemini 3 Flash, Gemini 3.1 Pro입니다. Claude Sonnet 4.6은 바로 아래로, 15회 실행 중 생년월일만 포함된 건강 데이터 유출이 한 번 있었습니다.

API 키를 절대 유출하지 않는 모델이라면 환자 데이터도 안전한가요?

꼭 그렇지는 않습니다. 논문은 안전성이 범주별로 분리된다는 것을 발견했습니다. 자격 증명, 사회보장번호, 데이터베이스 비밀번호를 지킨 모델이 급여 문서 속 직원 이름은 매번 말할 수 있었습니다.

도구 호출이 왜 중요한가요?

많은 필터가 채팅 답변만 검사하기 때문입니다. 모델이 도구 호출 인수를 채운 실행 73회 중 20회가 그 경로로 민감한 값을 보냈으며, 다른 면에서는 다회 실행 기준으로 안전했던 모델도 포함됩니다.

작은 전문가 혼합(MoE) 모델이 더 많이 유출하나요?

논문은 자격 증명에서 활성 파라미터 약 24B의 용량 하한을 보고하며, 활성 파라미터가 작은 전문가 혼합 설계가 그 주된 사례입니다. BroadNet의 실무자용 글은 활성 파라미터 24B 미만이면서 구조화 데이터 프로브에서 유출하지 않는 MoE 모델을 아직 찾지 못했다고 말합니다.

BroadNet Inference의 모델도 Safety Map에 포함되어 있나요?

초록에는 그 모델들에 대한 모델별 판정이 나와 있지 않으며, 프리프린트가 2026년 4월에 나왔으므로 그 이후 출시된 모델은 포함될 수 없습니다. Gemma 4 VL 26B는 활성 파라미터가 약 4B이므로, 자격 증명이나 개인정보를 다룬다면 자체 민감 데이터 프로브로 테스트하거나 보내기 전에 가리세요.

Markdown으로 읽기ChatGPT에 질문하기Claude에 질문하기Perplexity에 질문하기