なぜ今、「人間による監視」が問われるのか
Gartnerは、2029年までに企業の70%がエージェンティックAIをIT運用に導入すると予測しています。2025年時点では5%未満とされており、今後数年で導入が一気に進む見通しです。一方で、適切なAIガバナンス体制が整っていると回答した組織は13%にとどまるという調査もあり、「導入は進むが統制が追いつかない」構図が浮かび上がります。さらにEU AI法第14条は、高リスクAIシステムに対する「人間による監視（Human Oversight）」を義務付けており、2026年8月から適用が始まります。EU域内向けの事業がなくても、取引先からガバナンス体制の説明を求められる場面は今後増える傾向にあり、中小企業にとっても他人事とは言えなくなりつつあります。
「クリックして承認」の後付けが機能しない理由
HITL（Human-in-the-Loop）と聞くと、エージェントの実行直前に確認ダイアログを出す仕組みを想像しがちです。しかし、あらゆる操作に確認を求めると、担当者は内容を読まずにOKを押す「承認疲れ」に陥りやすく、監視が形骸化する傾向があります。逆に承認ポイントを減らしすぎると、取り返しのつかない操作がノーチェックで通る穴が残ります。重要なのは、これをUIの問題ではなく業務設計の問題として捉えることです。「どの業務の、どの判断に、誰が、どのタイミングで関与するか」を先に決め、その結果として承認画面や通知が配置される——この順番で考えるのが本来の姿とされています。
承認を挟むべき4つのトリガー
すべてを人間が確認するのは現実的ではないため、承認が必要になる条件（トリガー）をあらかじめ定義しておくのが一般的です。
| トリガー | 具体例 | 推奨される対応 |
|---|---|---|
| ① 不可逆・高額なアクション | 送金、契約締結、データ削除、一斉メール送信 | 実行前の承認を必須化 |
| ② モデルの低信頼度 | 確信度スコアが閾値未満、根拠の引用が取れない回答 | 人間へエスカレーション |
| ③ 普段と異なる挙動 | 処理件数が通常の数倍、深夜の大量実行 | 一時停止して通知 |
| ④ 規制・コンプライアンス対象業務 | 個人情報の取り扱い、与信・税務の判断 | 人間の最終判断を明文化 |
この4つを軸に、各業務を「事前承認が必須」「事後レビューで足りる」「完全自動でよい」の3段階に仕分けると、承認疲れを避けながら要所を押さえた設計になりやすくなります。
設計手順：業務フローに監視を組み込む5ステップ
- 業務の棚卸し：エージェントに任せたい業務を書き出し、各ステップの金額規模・可逆性・影響範囲を整理する
- リスク分類：4つのトリガーに照らし、事前承認／事後レビュー／自動実行の3段階に振り分ける
- 承認者とタイムアウトの設定：誰が、いつまでに判断するかを決める。承認者不在時の代理や、期限切れ時に安全側（停止）へ倒す挙動もあわせて定義する
- エスカレーション経路の設計：低信頼度や異常挙動の通知を、チャットツールなど担当者が日常的に見る導線へ流す。専用画面を開かないと気づけない設計は避けたほうがよいとされます
- ログと定期見直し：承認・却下の履歴を残し、却下がほとんど発生しない承認ポイントは自動化へ、ヒヤリハットが出た箇所は承認強化へと、運用しながら調整する
ケース1：経理業務——請求書処理エージェントの承認設計
請求書の受領からOCR読み取り、仕訳起票、支払予約までをエージェントが担う場合を考えます。定型的な仕訳起票は自動実行としつつ、①のトリガーとして「一定金額以上の支払い」と「新規取引先への初回振込」は事前承認必須に設定します。②として、OCRの読み取り信頼度が低い請求書は自動処理せず担当者の確認へ回します。③として、月間平均を大きく超える処理件数を検知したら一時停止して経理責任者へ通知し、④として税務判断が絡む処理は人間の最終確認を運用ルールに明文化する、という形です。承認操作自体は既存のワークフローシステムやチャットの承認ボタンに載せると、新しい画面を増やさずに済み、現場に定着しやすい傾向があります。
ケース2：顧客対応——問い合わせ返信エージェントの承認設計
FAQで回答できる定型的な問い合わせは自動返信としつつ、返金・解約・クレームに関わる返信は「下書きの生成まで」をエージェントの役割とし、送信は人間が行います（①と④に該当）。②として、回答の確信度が低い場合や、感情分析でネガティブ度が高いと判定された場合は担当者へエスカレーションします。③として、同一顧客への短時間の連続送信や、普段と異なる文面パターンの多発を検知したら送信を保留します。顧客対応は「誤送信しても謝罪や訂正で回復できる」領域と「信頼を大きく損なう」領域が混在するため、可逆性の観点で線を引くと整理しやすくなります。
まとめ：HITLは自動化のブレーキではなくアクセル
人間の承認を挟むことは、一見すると自動化の効果を削ぐように見えるかもしれません。しかし実際には、監視の仕組みがあるからこそ「ここまでなら任せられる」という範囲を安全に広げられる、という関係にあります。まずは4つのトリガーに沿って自社業務を仕分け、承認必須の範囲を狭く深く設定するところから始めるのが現実的です。運用ログが溜まれば、却下率の低い承認は自動化へ移し、リスクが見えた箇所は承認を強化する——この見直しのサイクル自体が、EU AI法などが求める「実効性のある人間による監視」の中核になっていくと考えられます。