---
title: "LLM 민감 데이터 안전성 평가: BroadNet 방법론 | BroadRouter"
description: "배포 전에 LLM이 자격 증명, 개인정보, 건강·금융 데이터를 유출하는지 테스트하는 BroadNet의 공개 방법론입니다. 범주, 유출과 누락의 구분, 3회 이상 실행을 다룹니다."
url: https://broadrouter.com/ko/blog/llm-sensitive-data-safety-evaluation-method/
lang: ko
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

이 페이지는 영어 원문을 AI의 도움을 받아 번역했습니다. [영어 원문 읽기](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (2026-11-15 업데이트).

# LLM의 민감 데이터 안전성 테스트 방법: BroadNet의 방법론

BroadNet Inference 팀 · 3분 분량 · 게시 2026-11-15

BroadNet이 2026년 4월 공개한 프리프린트(DOI 10.5281/zenodo.19574049, SSRN에도 게재)는 배포 전 민감 데이터 안전성 테스트를 제시합니다. 네 가지 범주(자격 증명, 개인정보, 건강 데이터, 금융 데이터)를 따로 테스트하고, 유출과 누락을 다른 실패로 채점하고, 이진 채점을 쓰고, 모든 테스트를 최소 세 번 실행하세요. 테스트에서 프롬프트 규칙과 부정 예시 파인튜닝은 유출을 오히려 늘렸습니다.

## 핵심 요약

-   Zenodo 프리프린트, DOI 10.5281/zenodo.19574049(2026년 4월 14일, CC BY 4.0), SSRN에 10.2139/ssrn.6565139로 미러링. 동료 심사를 거치지 않았습니다.
-   역량 벤치마크는 모델이 할 수 있는 것을 측정하고, 이 방법론은 모델이 해서는 안 되는 것을 측정합니다.
-   실패 유형은 두 가지입니다. 유출(민감한 값을 되풀이함)과 누락(민감한 값을 표시하지 못함)입니다. 따로 채점하세요.
-   안전성은 비결정적입니다. 모든 판정은 한 번의 통과가 아니라 3회 이상의 실행에 근거해야 합니다.
-   BroadNet의 테스트에서 강한 프롬프트 지시와 부정 예시 파인튜닝은 유출률을 높였습니다.

**이 페이지의 내용**

1.  일반 벤치마크로는 왜 잡아낼 수 없나요?
2.  방법론은 무엇을 테스트하나요?
3.  결과는 어떻게 채점해야 하나요?
4.  효과가 없었던 것은 무엇인가요?
5.  논문이 공개하지 않는 것은 무엇인가요?
6.  BroadNet Inference와는 어떻게 연결되나요?

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

BroadNet의 연구 조직은 대규모 언어 모델을 배포하기 전에 민감한 데이터를 유출하는지 테스트하는 실용적인 방법론을 공개했습니다. 프리프린트 _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_은 2026년 4월 14일자로 Zenodo에 DOI [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049)로 올라와 있고 SSRN에도 미러링되어 있습니다. Zenodo 레코드에는 저자가 Mohammad Al Zubaidi로 나와 있습니다.

이 페이지는 방법론과 결과를 요약합니다. BroadNet의 연구이며 결과도 BroadNet의 것입니다. 저희가 다시 실행해 보지는 않았습니다.

## 일반 벤치마크로는 왜 잡아낼 수 없나요?

공개 벤치마크는 역량, 즉 모델이 최선일 때 무엇을 할 수 있는지를 측정합니다. 설정 파일이나 임상 기록을 검토하도록 배포된 모델은 반대로 해서는 안 되는 일도 있습니다. 찾아낸 비밀을 되풀이하는 것입니다. 논문의 예시가 요점을 잘 보여 줍니다. 99개 작업에서 95점을 받고 100번째 작업에서 API 키를 옮겨 적는 모델은 평균 94점이지만, 여전히 프로덕션에서 쓸 수 없습니다.

BroadNet은 이를 상한이 아니라 하한을 테스트하는 것이라고 부르며, 논문은 “capability and constraint”(번역: 역량과 제약)를 서로 독립된 축으로 다룹니다.

## 방법론은 무엇을 테스트하나요?

네 가지 범주를 각각 따로 테스트합니다.

| 범주 | 예 | 모델이 알아보는 방식 |
| --- | --- | --- |
| 자격 증명 | API 키, 토큰, SSH 키, 데이터베이스 비밀번호 | 주로 형식으로 인식, 연결 문자열 속 비밀번호에는 형식 단서가 없음 |
| 개인 식별 정보(PII) | 이름, 이메일, 전화번호, 정부 발급 ID | 구조화된 ID는 형식으로, 자유 텍스트는 의미로 인식 |
| 보호 대상 건강 정보(PHI) | 진단, 처방, 임상 기록 | 주로 맥락으로 인식, 예: 이름 옆에 있는 진단 |
| 금융 데이터 | 계좌 번호, 잔액, 거래 내역 | 형식으로 인식하지만 민감하다고 보는 경우가 적음 |

초록은 “24+ models across 6 model families”(번역: 6개 모델 계열의 24개 이상 모델)를 테스트했다고 보고하며, 뚜렷한 위계를 발견했습니다. 구조화된 자격 증명이나 사회보장번호처럼 형식에 기반한 인식은, 진단 옆에 있어서 민감해지는 이름처럼 맥락에 기반한 인식보다 훨씬 안정적입니다. 자격 증명 유출률이 0%였던 한 모델은 PHI 테스트 실행마다 환자 식별자를 유출했습니다.

## 결과는 어떻게 채점해야 하나요?

논문은 최소 프로토콜을 제안합니다.

1.  **이진 채점.** 실행마다 안전하거나 안전하지 않거나 둘 중 하나이며, “대체로 안전한” 답변에 부분 점수는 없습니다.
2.  **유출과 누락을 따로 채점.** 하나의 숫자로 합치면 내 용도에 중요한 쪽이 가려집니다.
3.  **여러 번 실행.** 모델과 프로브마다 세 번 이상입니다. 같은 모델이 하루는 통과하고 다음 날은 유출할 수 있기 때문입니다.
4.  **범주별로.** 자격 증명에 대한 안전성은 건강 기록에 대한 안전성에 대해 아무것도 말해 주지 않습니다.

BroadNet의 실무자용 글은 파일럿에서 쓰는 운영 규칙을 덧붙입니다. 합성 데이터만 쓰고, 전체 배포 구성(시스템 프롬프트, 도구, 검색 포함)을 테스트하고, 프로덕션 전에 연속 5회 깨끗한 실행을 요구하며, 자체 호스팅 모델은 매월, 자주 업데이트되는 서드파티 모델은 매주 다시 테스트합니다.

## 효과가 없었던 것은 무엇인가요?

흔히 쓰는 해결책 두 가지가 BroadNet의 테스트에서는 상황을 악화시켰습니다.

-   **프롬프트 지시.** “자격 증명을 공개하지 말 것”을 추가해도 무시되는 경우가 있었고, 가장 강한 프롬프트 전략은 기준선에서 깨끗했던 모델에 유출을 일으켰습니다.
-   **부정 예시 파인튜닝.** 특정 범주를 거부하도록 모델을 학습시키자 유출률이 낮아지기는커녕 높아졌습니다.

BroadNet의 설명에 따르면 효과가 있었던 것은 세 가지 계층을 함께 쓰는 것이었습니다. 해당 범주에서 위험이 낮은 모델을 고르고, 결정론적 도구로 출력을 필터링하고(BroadNet은 [Microsoft Presidio](https://github.com/microsoft/presidio)와 LLM Guard를 언급합니다), 작업에 값이 필요 없다면 프롬프트를 만들기 전에 입력을 가리는 것입니다. [민감한 데이터를 LLM API로 보내기 가이드](https://broadrouter.com/ko/blog/llm-api-sensitive-data/)에서 마스킹 단계를 코드로 보여 줍니다.

## 논문이 공개하지 않는 것은 무엇인가요?

BroadNet은 책임 있는 공개 정책에 따라 범주, 채점 철학, 표본 크기, 주의 사항은 공개하지만, 정확한 프롬프트 템플릿, 자격 증명 형식, 합격·불합격 임계값은 공개하지 않습니다. 이유는 그것을 공개하면 추출 공격에 드는 노력이 줄어드는데, 배포하는 쪽에는 대응 수단이 없기 때문입니다. 모델 제공업체와 안전성 연구자는 요청할 수 있습니다. 그래서 이 방법론은 틀은 재현할 수 있지만 숫자 하나하나까지 재현할 수는 없습니다.

## BroadNet Inference와는 어떻게 연결되나요?

이것은 제공업체가 아니라 모델에 대한 테스트입니다. [BroadNet Inference](https://broadrouter.com/ko/models/)의 모델을 포함해 어떤 API의 어떤 모델에도 적용됩니다. 짝을 이루는 논문인 [Safety Map](https://broadrouter.com/ko/blog/llm-safety-map-39-models/)은 이 방법을 14개 연구소의 모델 39개에 적용했으며, 민감한 값이 도구 호출 인수와 추론 필드를 통해서도 빠져나갈 수 있음을 발견했습니다. BroadNet은 이후 두 논문을 바탕으로 만든 오픈소스 방화벽 LSDF를 공개했으며, Safety Map 요약에서 설명합니다.

제공업체의 데이터 보관은 별개의 문제입니다. [데이터 비보관](https://broadrouter.com/ko/privacy/)은 BroadNet이 저장하는 것을 다룰 뿐, 모델이 여러분의 시스템에 쓰는 내용을 다루지는 않습니다.

관련 무료 도구 (영어)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[무료 도구 (영어)](https://broadrouter.com/tools/)

## 이 글의 용어

[PII(개인 식별 정보)](https://broadrouter.com/ko/glossary/pii/)

PII(개인 식별 정보)는 이름, 신분 번호, 생체 기록처럼 개인의 신원을 구별하거나 추적하는 데 쓸 수 있는 정보와, 그 사람과 연결되거나 연결될 수 있는 기타 정보입니다. GDPR은 더 넓은 용어인 개인 데이터를 씁니다. LLM 작업에서 PII 마스킹은 프롬프트가 내 시스템을 떠나기 전에 이를 제거합니다.

[데이터 비보관(Zero data retention, ZDR)](https://broadrouter.com/ko/glossary/zero-data-retention/)

데이터 비보관(ZDR)은 AI 제공업체가 프롬프트와 출력을 요청 처리에만 사용하고, 처리 후에는 그 내용을 로그, 캐시, 학습 데이터 어디에도 저장하지 않는 데이터 처리 정책입니다. 토큰 수나 처리 시간처럼 내용이 없는 기록은 보통 계속 보관됩니다.

[파인튜닝(fine-tuning)](https://broadrouter.com/ko/glossary/fine-tuning/)

파인튜닝(fine-tuning, 미세 조정)은 사전 학습된 언어 모델을 예시 대화 같은 작고 작업에 특화된 데이터셋으로 계속 학습시키는 과정입니다. 가중치가 바뀌므로, 모델은 프롬프트마다 긴 지시문이나 예시를 넣지 않아도 해당 작업이나 스타일을 더 안정적으로 수행합니다.

## 자주 묻는 질문

### 유출과 누락은 무엇이 다른가요?

유출은 모델이 민감한 값을 되풀이해서는 안 되는 곳에 되풀이하는 것입니다. 예를 들어 보고서에 API 키를 그대로 옮겨 적는 경우입니다. 누락은 민감한 값을 표시하는 것이 모델의 일인데 표시하지 못하는 것입니다. 위험이 다르기 때문에 BroadNet의 방법론은 둘을 따로 채점합니다.

### 테스트는 몇 번 실행해야 하나요?

프로브마다 최소 세 번입니다. BroadNet의 실무 프로토콜은 여기에 더해, 프로덕션에 안전하다고 판정하기 전에 연속 5회 깨끗한 실행을 요구하며, 제공업체 측 변경을 잡아내기 위해 최소 이틀에 걸쳐 실행합니다.

### 시스템 프롬프트에 "비밀을 절대 공개하지 말 것"이라고 쓰면 도움이 되나요?

믿을 만하지 않습니다. BroadNet의 테스트에서 가장 강한 프롬프트 전략은 원래 깨끗했던 모델에 유출을 일으켰고, 부정 예시 파인튜닝도 유출률을 높였습니다.

### BroadNet의 정확한 테스트 프롬프트를 받을 수 있나요?

공개적으로는 받을 수 없습니다. BroadNet은 책임 있는 공개 정책에 따라 정확한 프롬프트 템플릿, 자격 증명 형식, 합격·불합격 임계값을 공개하지 않으며, 요청하면 모델 제공업체와 안전성 연구자에게 공유합니다.

### 데이터 비보관(ZDR)이 있으면 이 테스트는 필요 없나요?

아닙니다. 데이터 비보관은 제공업체가 무엇을 저장하는지를 통제합니다. 이 테스트는 모델이 자기 출력에 무엇을 쓰는지에 관한 것이며, 그 출력은 로그, 티켓, 후속 시스템에 남습니다.

## 이어서 읽기

-   [Safety Map: LLM 39개는 민감한 데이터를 어떻게 다루나](https://broadrouter.com/ko/blog/llm-safety-map-39-models/)
-   [LLM API에 민감한 데이터 보내기: 가리고, 줄이고, 덜 기록하기](https://broadrouter.com/ko/blog/llm-api-sensitive-data/)
-   [제공업체를 바꾸기 전에 LLM을 평가하는 방법](https://broadrouter.com/ko/blog/evaluate-llm-before-switching/)
-   [데이터 비보관(ZDR) LLM API: 확인해야 할 질문 10가지](https://broadrouter.com/ko/blog/zero-data-retention-llm-api-checklist/)
-   [이집트 개인정보보호법(2020년 법률 제151호)과 LLM API](https://broadrouter.com/ko/blog/egypt-data-protection-law-llm-api/)
-   [사우디·UAE 개인정보보호법(PDPL)과 LLM API: 국외 이전 체크리스트](https://broadrouter.com/ko/blog/saudi-uae-pdpl-llm-api-checklist/)

실제 워크로드로 테스트해 보세요. 신규 계정에는 US$5 상당의 초기 크레딧이 제공되며 Gemma 및 음성 전사에 사용할 수 있습니다. DeepSeek, GLM 및 Qwen3.8 모델은 충전이 필요합니다.

[시작하기](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ko-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**출처**

-   [Al Zubaidi, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, Zenodo 프리프린트, 2026-04-14(레코드 2026-11-15 확인)](https://doi.org/10.5281/zenodo.19574049)
-   [SSRN에 게재된 같은 논문, 초록 6565139(BroadNet이 밝힌 DOI, 2026-11-15 확인)](https://doi.org/10.2139/ssrn.6565139)
-   [BroadNet 블로그, How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It(2026년 5월 12일, 2026-11-15 확인) (영어)](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research: 책임 있는 공개 정책(2026-11-15 확인) (영어)](https://www.broadnet.ai/research)
-   [Microsoft Presidio(2026-11-15 확인)](https://github.com/microsoft/presidio)
