AIエージェントの実行境界設計：最小権限・入力防御・予算上限

攻撃文を見抜くことだけを安全策にしない

Webページ、メール、PDF、チケット、検索結果などの外部コンテンツには、正規の文章と命令に見える文字列が混在します。モデルがそれらを完全に分類できる前提を置くと、見逃しがそのまま外部送信、更新、削除へつながります。

入力検査は必要ですが、最後の防波堤ではありません。外部コンテンツは『参照するデータ』として保持し、権限付与、認可、実行上限を別の決定層で強制します。攻撃的な文章を見抜けなかった場合でも、許可されていないアクションへ到達できない構造を目標にします。

参照した一次資料：[owasp-prompt-injection] OWASP LLM01:2025 Prompt Injection[owasp-excessive-agency] OWASP LLM06:2025 Excessive Agency

ワークフローをアクションへ分解する

『メールを使う』『CRMを使う』は権限定義として広すぎます。対象、操作、条件、上限を一行ずつ表にします。同じメールでも、指定フォルダの閲覧、下書き作成、登録済み1宛先への送信、添付付き一斉送信では影響が異なります。

最初に許可するのは完了条件へ直接必要な操作だけです。便利そうな管理機能や削除権限を先に渡しません。APIが細かな制御に対応しない場合は、検証専用アカウント、対象限定の中継処理、読み取り専用ビューなどで境界を作ります。

• 対象：アカウント、フォルダ、テーブル、宛先を限定した
• 操作：閲覧、生成、更新、送信、削除を別行にした
• 条件：環境、時間帯、実行ID、承認状態を指定した
• 上限：件数、金額、データ量、呼び出し回数、所要時間を設定した
• 禁止：管理者操作、権限変更、担当外データを明示的に拒否した

参照した一次資料：[nist-800-53-ac6] NIST SP 800-53 Rev. 5 — AC-6 Least Privilege[owasp-excessive-agency] OWASP LLM06:2025 Excessive Agency

入力元ごとに信頼境界を固定する

信頼度は文章の口調ではなく、入力経路と管理主体で付けます。一般Web、取引先メール、アップロード資料は未信頼、承認済み台帳は管理済み、システム規則は保護された設定、と分類します。未信頼データの中に『以前の指示を無視せよ』と書かれていても、実行命令として昇格させません。

未信頼と管理済みのデータを同じプロンプトで扱う場合は、出所を保持し、出力の根拠を追えるようにします。秘密情報、資格情報、内部指示は未信頼コンテンツへ埋め込まず、モデルが読み取れない実行層に保持します。

参照した一次資料：[owasp-prompt-injection] OWASP LLM01:2025 Prompt Injection

認可をモデルの判断から分離する

モデルが『この操作は許可されています』と出力しても、それを認可根拠にしません。実行層は、利用者、ワークフロー、対象、操作、承認状態、上限を構造化データで検証し、条件に一致しない要求を拒否します。

資格情報は可能な限り短時間・限定範囲で発行し、承認された実行IDと結び付けます。資格情報をプロンプト、画面、通常ログへ記録せず、付与、利用、失効のイベントだけを監査証跡へ残します。

参照した一次資料：[owasp-excessive-agency] OWASP LLM06:2025 Excessive Agency[nist-800-53-ac6] NIST SP 800-53 Rev. 5 — AC-6 Least Privilege

金額・回数・時間・並列・キューを重ねて制限する

月額予算だけでは、短時間のループや外部APIの連鎖を止められません。1実行、1利用者、1日、パイロット全体の金額上限に加え、モデル要求数、ツール呼び出し数、最大反復、タイムアウト、同時実行、待機キュー、対象件数を組み合わせます。

上限到達後に同じ処理を自動再試行すると、制御を迂回します。到達した上限、実行済みと未実行のアクションを記録してSAFE_HOLDへ移し、原因確認と新しい予算承認を分けます。具体的な閾値はサービスやリスク許容度で変わるため、測定した正常系の分布と障害試験を根拠に更新します。

参照した一次資料：[owasp-unbounded-consumption] OWASP LLM10:2025 Unbounded Consumption

予算アラートと実行停止を分ける

Google Cloudのalerts-only budgetは、通知を行う機能であり、支出を自動停止するハード上限ではありません。利用から請求データへの反映にも遅延があり得ます。AWS Budgets Actionsは一部のIAM・SCP適用やEC2・RDS停止などを自動または承認後に実行できますが、全サービス共通の完全な支出停止ではありません。

そのため、クラウド側の予算通知だけに頼らず、アプリ側の要求・トークン・反復・並列・キュー上限とタイムアウトを実行に近い層で強制します。クラウド通知は、段階的な縮退、管理者への連絡、追加承認の起点として使います。

参照した一次資料：[gcp-budgets] Google Cloud — Budgets and budget alerts[aws-budget-actions] AWS — Configuring budget actions[owasp-unbounded-consumption] OWASP LLM10:2025 Unbounded Consumption

境界テストで拒否できることを確認する

正常に完了するテストだけでなく、未信頼本文の命令、権限外対象、承認なし送信、上限直前の反復、タイムアウト、並列競合を試します。期待結果は『正しい回答』だけではなく、『実行層が拒否する』『新しい実行を受け付けない』『人へ確認を戻す』といった状態で定義します。

拒否ログは欠陥の記録だけではありません。正当な処理が拒否された場合は、その操作だけを追加すべきか、ワークフローを変えるべきかを検討します。一定期間使われていない権限は削除候補にし、説明できない許可を残しません。

参照した一次資料：[nist-ai-600] NIST AI 600-1 Generative AI Profile[owasp-excessive-agency] OWASP LLM06:2025 Excessive Agency