AIエージェントPoCを社内承認する実務ガイド

このガイドの位置づけ：枠組みを承認記録へ落とす

AIエージェントの社内承認で問われるのは、デモが動いたかだけではありません。誰が、どのデータに対して、どの操作まで任せ、想定外の状態でどう止めるかを説明できる必要があります。正常系の動画だけでは、外部送信や更新の影響範囲、予算超過、成否不明時の扱いを判断できません。

NIST AI RMFは、目的、利用文脈、責任、測定、対応を継続的に管理するための自主的な枠組みです。NIST自身がCoreのアクションを順序付きの手順や公式チェックリストとはしていません。本記事では、その考え方を小規模PoC向けの12項目へ変換し、何を証拠として残すかまで具体化します。

本サイトでは、成否または承認条件が確定するまで新規実行と再試行を止める記録状態を、便宜上SAFE_HOLDと呼びます。これはNISTやOWASPが定めた正式な状態名ではなく、停止理由と再開条件を曖昧にしないための本サイト独自ラベルです。

参照した一次資料：[nist-rmf-core] NIST AI RMF 1.0 Core[nist-ai-600] NIST AI 600-1 Generative AI Profile

承認対象を1ワークフローに切る

『問い合わせ対応を自動化する』では範囲が広すぎます。たとえば『承認済み案件情報から返信案を作り、担当者が確認した1件だけを送信する』まで絞ると、入力、操作、承認者、完了条件を観測できます。利用部門、対象データ、接続先、実行環境、対象外条件を一文ずつ書いてください。

対象外条件は後回しのメモではありません。添付ファイル、外部ドメイン、一斉送信、顧客の機微情報など、今回評価しない条件を明示することで、未評価を合格と誤認するのを防げます。範囲を広げるときは新しい承認版を作り、旧版の判定をそのまま流用しません。

• 利用者と業務上の目的を一文で説明できる
• 入力元、参照データ、接続ツール、出力先を列挙した
• 完了条件と、今回評価しない条件を分けて記録した
• 検証環境と本番環境の差分を記録した

参照した一次資料：[nist-rmf-core] NIST AI RMF 1.0 Core[nist-ai-600] NIST AI 600-1 Generative AI Profile

12項目を、担当者と証拠まで埋める

チェック欄だけを並べると、会議では『対応済み』の解釈がずれます。各項目に責任者、確認方法、証拠の保存先、未充足時の扱いを加えてください。証拠は大量のログではなく、第三者が同じ結論を追える最小セットにします。

• 01 目的と成功条件：何を改善し、何をもって完了とするか
• 02 対象利用者：誰が、どの権限で利用するか
• 03 データ境界：利用できる入力と禁止データは何か
• 04 アクション境界：閲覧・生成・更新・送信・削除のどこまで許可するか
• 05 人間承認：どの高影響操作を、誰が、何を見て承認するか
• 06 実行上限：金額、回数、時間、並列数、対象件数の上限はいくつか
• 07 停止条件：どの数値・状態で新規実行と再試行を止めるか
• 08 無効化手順：接続、資格情報、キューを誰がどう遮断するか
• 09 ログと証跡：入力、判断、ツール実行、結果を同じ実行IDで追えるか
• 10 受入試験：正常、拒否、境界、タイムアウト、成否不明を試したか
• 11 最終判定：APPROVEDまたはSAFE_HOLDを根拠付きで記録したか
• 12 見直し条件：モデル、ツール、対象、規程の変更時に再評価するか

参照した一次資料：[nist-rmf-core] NIST AI RMF 1.0 Core[nist-ai-600] NIST AI 600-1 Generative AI Profile[owasp-excessive-agency] OWASP LLM06:2025 Excessive Agency

高影響操作の直前に承認ゲートを置く

すべてのステップを人が確認すると、承認が形骸化します。一方、開始時の包括承認だけでは、途中で変化した宛先や金額を見落とします。外部送信、公開、支払い、削除、権限変更など、影響が確定する直前に承認を置きます。

承認画面には、対象、実行内容、前回からの差分、費用、取り消し可否、根拠データをまとめます。承認後に宛先、本文、金額、添付、対象件数のいずれかが変わった場合は、古い承認を無効にして再承認します。認可判定はモデルの自己申告に任せず、下流システム側でも許可範囲を検証します。

参照した一次資料：[owasp-excessive-agency] OWASP LLM06:2025 Excessive Agency[nist-ai-600] NIST AI 600-1 Generative AI Profile

合格条件より先に、失敗ケースを設計する

平均精度だけでは高影響操作の可否を決められません。登録外の宛先、権限外データ、承認後の変更、重複要求、外部APIの遅延、途中成功など、境界を越えようとするケースを用意します。各ケースについて、期待する拒否・停止・保留状態と、確認に使う証拠を事前に決めます。

試験結果は合格件数だけでなく、失敗件数、成否不明件数、未評価条件を分けます。未評価をゼロ件扱いにせず、今回の許可範囲から除外するのが重要です。NIST AI 600-1は、配備前テストの結果をリリース承認者へ共有し、段階的な公開や許容不能なリスクの停止を検討するよう示しています。

参照した一次資料：[nist-ai-600] NIST AI 600-1 Generative AI Profile

APPROVEDとSAFE_HOLDを同じ書式で判定する

APPROVEDは『安全を保証する』という意味ではありません。記録された対象、期間、利用者、上限、監視条件の範囲で、限定パイロットへ進める判断です。条件を一つでも変える場合は判定を見直します。

SAFE_HOLDは単なる延期ではありません。未充足の受入条件、現在までに確認できた事実、影響範囲、再開に必要な証拠、次の承認者を記録する正式な結果です。成否不明の外部操作が残る場合は、推測で再試行せず、対象システムの状態を確認できるまで保留します。

参照した一次資料：[nist-rmf-core] NIST AI RMF 1.0 Core[nist-ai-600] NIST AI 600-1 Generative AI Profile

承認記録を使い捨てにしない

モデル、プロンプト、ツール、データ、利用者、権限、外部サービスの仕様が変わると、以前の合格条件は成立しない場合があります。変更台帳に変更理由、影響する統制、再実施する試験、承認者を記録し、重要な変更では段階公開からやり直します。

定期レビューだけでなく、拒否ログ、予算上限到達、インシデント、苦情、精度低下を見直しの起点にします。止めた記録と未評価条件を残すことで、次の承認会議は『最初から説明し直す場』ではなく『差分を確認する場』になります。

参照した一次資料：[nist-rmf-core] NIST AI RMF 1.0 Core[nist-ai-600] NIST AI 600-1 Generative AI Profile