BroadRouter
始める

ガードレール(guardrails)

更新日

ガードレールとは、言語モデルの呼び出しを決めた範囲に収めるため、アプリがその前後で実行するチェックです。入力、出力、ツール操作をそれぞれ検証し、チェックに通らなければリクエストをブロック、書き換え、またはフラグ付けします。

別名: LLM ガードレール、AI ガードレール、入力ガードレール、出力ガードレール、安全対策、コンテンツフィルター、guardrails、LLM guardrails、AI guardrails、input guardrails、output guardrails、safety rails

ガードレールは、モデルの周りに巡らせるチェックです。悪い入力や悪い出力を、ユーザーに届く前にコードの段階で止めます。

仕組み

OpenAI Agents SDK はガードレールを “checks and validations of user input and agent output”(訳:ユーザー入力とエージェント出力のチェックと検証)と説明し、3 つの種類を定義しています。

種類 実行タイミング 典型的なチェック
入力 最初のモデル呼び出しの前、または並行して 話題外、攻撃的、インジェクションを含むリクエスト
出力 最終回答の後 機密の漏えい、ポリシー違反、形式の誤り
ツール 関数ツールの実行前後 引数が範囲内か、破壊的な操作でないか

チェックに失敗すると、「トリップワイヤー」(tripwire)が例外を発生させて実行を止めます。入力チェックはブロッキング型(メインのモデルはまったく動かない)にも、並行型(レイテンシは小さいが、トリップワイヤーが作動した時点でトークンやツール呼び出しをすでに消費していることがある)にもできます。

NVIDIA のオープンソースの NeMo Guardrails ライブラリは、入力、検索、対話、実行、出力の 5 段階のレールを使います。Anthropic のドキュメントは “harmlessness screen”(訳:無害性スクリーニング)を勧めています。小さく高速なモデルで、ユーザー入力がメインの会話に届く前に分類し、構造化出力を使って判定結果を解析可能な true か false にする方法です。

すべてのガードレールにモデルが必要なわけではありません。正規表現フィルター、許可リスト、JSON Schema による検証、長さの制限は、安価で結果が決定的です。

なぜ重要か

  • 安全性。 ガードレールは、プロンプトインジェクションやジェイルブレイクに対する防御の 1 層です。1 つの層ですべてを止めることはできません。
  • コスト。 安価なスクリーニングで、高価なモデルが 100,000 トークンのコンテキストを読む前にリクエストを却下できます。
  • エージェント。 メールを送ったりデータを編集したりするエージェントには、最終的なテキストへのフィルターだけでなく、ツール単位のチェックと、リスクの高い手順での人間の承認が必要です。
  • 測定する。 正当なリクエストをブロックするガードレールはバグです。eval セットで誤検知を追跡してください。

BroadNet Inference では

BroadNet のドキュメントには、ガードレール、モデレーション用エンドポイント、コンテンツフィルターの記載はありません。ガードレールはアプリケーション側の仕事として扱ってください。よくあるのは、BroadNet Gemma 4 VL 26B(入力 100 万トークンあたり $0.10)のような小さなモデルでスクリーニングし、そのあと大きなモデルでメインの呼び出しを行うパターンです。入力に個人データが含まれる場合は、LLM API に機密データを送るときを参照してください。

よくある質問

ガードレールはモデルの一部ですか?

いいえ。モデルには学習で身につけた回答拒否がありますが、ガードレールはアプリケーションがメインの呼び出しの前後で実行する別のコードやモデル呼び出しです。何をチェックするかは自分で決めます。

ガードレールでレイテンシは増えますか?

ブロッキング型の入力チェックでは、メインのモデルが動き出す前に呼び出しが 1 回増えます。OpenAI Agents SDK では入力ガードレールを並行実行することもでき、時間は節約できますが、チェックが作動する前にトークンを消費することがあります。

BroadNet Inference にはガードレールが含まれていますか?

BroadNet のドキュメントには、ガードレールやコンテンツフィルターは機能として記載されていません。たとえば小さなモデルでのスクリーニングや出力のスキーマ検証など、アプリケーション側で組み込んでください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く