BroadRouter
始める

ゼロデータ保持の LLM API:確認すべき 10 の質問チェックリスト

BroadNet Inference チーム · 約 5 分で読めます · 公開日 · 更新日

ゼロデータ保持の LLM API は、プロンプトと出力をリクエストの処理にだけ使い、その後ログ、キャッシュ、学習データに保存しません。何が残るか(通常は内容を含まない利用記録)、保存期間、GPU の運用者、検証方法を確認してください。BroadNet Inference はプロンプト、画像、音声、回答を保持せず、ゲートウェイ設定を毎時点検しています。

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

コーディングエージェントはリポジトリをまるごと送ります。サポートボットは顧客のメッセージを送ります。文字起こしのパイプラインは通話音声を送ります。これらを LLM API に送る前に、必ず誰かがこう尋ねます。回答が返ってきた後、そのデータはどうなるのか?「ゼロデータ保持」(ZDR)は誰もが聞きたい答えですが、この言葉が指す実態は大きく異なります。

ゼロデータ保持は何をカバーすべきですか?

リクエストの後まで残ってはいけない内容:

  • プロンプト、システムプロンプト、ツールの結果
  • 画像と音声
  • モデルの出力と文字起こし
  • リクエストとレスポンスの本文全体(デバッグログ内のものも含む)
  • 生の URL、クエリ文字列、認証情報

通常は残されるが、内容を含まないはずの記録:

  • リクエスト ID、処理時間、HTTP ステータス、バイト数
  • アカウントとキーの ID、モデル、トークン数、費用
  • セキュリティのためのクライアント IP アドレス

各項目がどちらのリストに入るのかをプロバイダーが答えられないなら、答えは「いいえ」だと考えてください。

学習、保持、ZDR は同じ約束ですか?

約束 意味すること 意味しないこと
「学習に使わない」 データが将来のモデルの学習に使われない 一定期間保存される可能性はある
「N 日間保持」 内容は保存され、その後削除される その間、スタッフやシステムがアクセスできる可能性がある
「ゼロデータ保持」 リクエスト後に内容は保存されない メタデータは残る

大手プロバイダーの例を見ると、この違いが重要な理由が分かります。複数のプロバイダーの公式な表現を並べて比較した記事は LLM API のデータ保持比較をご覧ください。OpenAI のデータコントロールのページは、2023 年 3 月 1 日以降、API のデータはデフォルトでモデルの学習に使われないとしています。同じページには、不正利用監視のログは “are retained for up to 30 days”(訳:最大 30 日間保持される)、ZDR のコントロールは “are subject to prior approval by OpenAI”(訳:OpenAI の事前承認が必要)とあり、ファイル、assistants、バッチなど状態を保存するエンドポイントは対象外とも書かれています。プロバイダーが 3 点すべてについて誠実でありながら、デフォルトでは内容を 1 か月保持していることもありうるのです。

ZDR の約束には、どこに抜け穴があることが多いですか?

  • 適用条件。 ZDR には承認、特定のプラン、契約が必要な場合があり、有効にするまではオフです。
  • エンドポイントの範囲。 チャットは対象でも、ファイル保存、バッチ、ファインチューニングは対象外ということがあります。
  • 安全上の例外。 たとえば OpenRouter の FAQ は、ZDR を “no routine storage of prompts or responses after processing, apart from a CSAM exception”(訳:処理後にプロンプトやレスポンスを日常的に保存しない。ただし CSAM は例外)と定義しています。
  • モデルより上の層。 モデルのプロバイダーが記録しなくても、間に入るゲートウェイ、ルーター、オブザーバビリティツールがプロンプトを記録することがあります。すべての層に確認してください。
  • 自社のシステム。 自社のアプリログ、エラートラッカー、分析ツールのほうが、プロバイダーより多くの内容を残していることがよくあります。

プロバイダーに確認すべき 10 の質問は何ですか?

  1. リクエストの後、プロンプトや出力はどこかに保存されますか? ログ、キャッシュ、キュー、バックアップも含めて確認します。
  2. 内容が学習や評価に使われることはありますか? プロバイダー自身か、モデルベンダーかも確認します。
  3. 何を残しているのか、項目ごとに教えてください。 一覧を求めます。
  4. 利用記録はどれくらいの期間、何のために保存されますか?
  5. GPU を運用しているのは誰ですか? プロバイダー自身か、クラウドか、再販業者のさらに再販業者か。
  6. リクエストの内容を見られる再委託先はどこですか?
  7. 保持状況はどのように検証していますか? ポリシーだけか、自動チェックか。
  8. キーを自社の IP アドレスに固定できますか? 漏えいしたキーもデータの経路の 1 つです。
  9. ハードウェアはどこにあり、地域を指定できますか?
  10. サポートチケットを出すとどうなりますか? バグを報告したとき、スタッフは内容を見られますか?

回答は書面で求め、どの文書(利用規約、プライバシーステートメント、署名済みの契約)がその回答に拘束力を持たせているのかを記録してください。

BroadNet Inference はどう答えていますか?

質問 BroadNet Inference
プロンプト、画像、音声、回答の保存 なし。リクエストのために処理し、保持しない
データを使った学習 なし。プライバシーステートメントで、推論データによる学習、ファインチューニング、評価を否定
残すもの 内容を含まないトラフィック、利用、アカウントの記録(一覧)
記録の保存期間 請求、税務、セキュリティ、法的義務に必要な期間
検証 ゲートウェイ設定が内容を残さないことを毎時チェック
ハードウェア プライバシーステートメントによると、ホストするモデルは “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup”(訳:米国内の BroadNet 所有またはリースのハードウェアで動き、パートナーの容量をバックアップとする)。パートナー提供のモデルは ZDR の条件のもとで米国の推論パートナーが運用
データの所在 所在の要件があるデータを送る前に、BroadNet と処理場所を取り決める(GDPR チェックリスト)
キーの保護 IP 許可リスト、最大 32 件。変更と失効は 5 秒以内に新しいリクエストへ反映
保存されるキー SHA-256 ハッシュのみ。生のキーは一度だけ表示

BroadNet のドキュメントは、ゼロデータ保持を “built into how we serve requests, not only stated in policy”(訳:ポリシーに書くだけでなく、リクエストの処理方法そのものに組み込まれている)と説明しています。すべてのリクエストに適用され、有効にする設定はありません。詳細はプライバシーステートメントにあります。

ZDR は音声やアラビア語の音声データもカバーしますか?

音声は、多くのプロダクトが扱う入力のなかで最も機微なものです。10 秒のボイスメッセージに、名前、電話番号、健康に関する情報が含まれることもあります。通話や WhatsApp のボイスメッセージを文字起こしするなら、音声と文字起こしについても同じ 10 の質問をしてください。アラビア語音声認識 API 購入ガイドもご覧ください。

プロバイダーの回答はどう確かめればよいですか?

  1. マーケティングページだけでなく、プライバシーステートメントと API リファレンスを読みます。 項目ごとの一覧を探してください。
  2. 範囲を確認します。 その約束はどのモデル、エンドポイント、プランに適用されますか?
  3. API が何を返すかを見ます。 ダッシュボードに過去のプロンプトが表示されるなら、それはどこかに保存されています。
  4. サポートの手順を確認します。 チケットを出したとき、誰が何を見られますか?
  5. 回答をベンダー管理の記録に書き残します。 リンクと確認した日付も添えてください。

ZDR では解決しないことは何ですか?

ゼロデータ保持が守るのは、リクエストがプロバイダーに届いた後に起きることです。次の対策は引き続き必要です。

  • API キーはサーバーに置き、ブラウザーやモバイルアプリには決して置かない
  • IP 許可リストでキーを自社の送信元 IP に固定する
  • カード番号など、モデルに不要な情報は削除する(送信前のマスキング方法)
  • 自社側でリクエスト ID を記録し、プロバイダーに内容を保存させなくてもデバッグできるようにする。サポートに送る情報はエラーのガイドを参照

アプリをプロバイダー間で移行するときは、これらの確認項目を移行チェックリストに加えてください。ゲートウェイを経由する場合は、そこにも同じ質問をしてください。OpenRouter との比較で、あるルーターが ZDR をどう扱っているかを紹介しています。

BroadNet Inference が向いている用途

BroadNet Inference は、申請なしですべてのリクエストに ZDR を適用したいチームに向いています。パートナーがホストするモデルも対象で、プライバシーステートメントによれば、それらは米国の推論パートナーのもとでゼロデータ保持の条件で動きます。どのプロバイダーとも同じく、請求とセキュリティのために内容を含まない記録は残します。特定の地域でデータを処理する必要がある場合は、データを送る前に BroadNet と処理場所を取り決めてください。自社モデルとホストしているモデルのデフォルトは米国です。

よくある質問

LLM API のゼロデータ保持とは、どういう意味ですか?

プロバイダーがリクエストに回答するためにプロンプト、ファイル、出力を処理し、その後はログ、キャッシュ、バックアップ、学習用データを含め、どこにもその内容を保存しないことです。処理時間やトークン数のような内容を含まない記録は、通常は残ります。

ゼロデータ保持なら、ログはまったく残らないのですか?

いいえ。プロバイダーは処理時間、トークン数、費用、ステータスコード、IP アドレスなどの運用記録を残します。ゼロデータ保持とは、それらの記録にプロンプトや出力の内容が含まれないという意味です。

「データを学習に使わない」はゼロデータ保持と同じですか?

同じではありません。API のデータで学習しないと約束しながら、たとえば不正利用の監視のために一定期間保存することはできます。OpenAI のドキュメントは、API のデータはデフォルトで学習に使われず、不正利用監視のログは最大 30 日間保持されるとしています。

BroadNet Inference では、プロンプトがモデルの学習に使われますか?

いいえ。BroadNet のプライバシーステートメントは、推論データを "to train, fine-tune or evaluate models"(訳:モデルの学習、ファインチューニング、評価に)使わないとしており、プロンプト、画像、音声、回答、文字起こしはリクエスト後に保持されません。

ゼロデータ保持だけで GDPR に対応できますか?

役には立ちますが、それだけでは解決しません。適法な根拠、処理活動の記録、各処理者との契約は引き続き必要です。社内のデータ保護責任者に相談してください。ZDR が減らすのはプロバイダーが持つデータで、自社の義務ではありません。

BroadNet はどこでモデルを動かしていますか?

BroadNet のプライバシーステートメントによると、自社モデルとホストしているオープンウェイトモデルは、BroadNet が保有またはリースする米国内のハードウェアで動き、パートナーの計算資源がバックアップです。パートナー提供のモデルは、ゼロデータ保持の条件のもとで米国の推論パートナーが運用します。データの所在に要件がある場合は、送る前に BroadNet と処理場所を取り決めてください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く