ヒューマンインザループ型AIエージェント：ガバナンスのための設計パターン
October 7, 2026/11分で読了/Team Dataiku
多くの企業では、AIエージェントの導入がガバナンスの整備を上回るペースで進んでおり、規制当局もその状況に注目しています。
EU AI法第14条は、高リスクAIシステムについて、使用中に人が効果的に監督できるよう設計および開発することを求めています。適用時期は、附属書IIIに該当する単独の高リスクシステムが2027年12月2日、附属書Iに該当する規制対象製品に組み込まれたAIが2028年8月2日へと変更されています。要件を満たさない場合の制裁金は、最大1,500万ユーロまたは全世界売上高の3%に達します。
「Global AI confessions report: data leaders edition」（世界800人以上のデータリーダーを対象としたDataiku/Harris Pollの調査）によると、AIの出力を常に100%追跡できると回答したのはわずか5%でした。このギャップは、多くの組織が規制当局から求められる監査証跡を提示できない可能性があることを意味します。
ヒューマンインザループの設計パターンは、こうした監督を支える仕組みです。インシデントが起きてから後付けするのではなく、デプロイ前にエージェントのワークフローへ体系的なチェックポイントを組み込みます。
本記事では、実証済みのガバナンス設計パターン、導入ステップ、それを支えるフレームワークを紹介し、チームがAIエージェントを大規模かつ安全にデプロイするための方法を解説します。
概要
ヒューマンインザループ型AIエージェントは、自律的なワークフローのあらかじめ定めた意思決定ポイントに人による監督を組み込み、自動化のスピードと説明責任を両立させます
監督の範囲をカバーする設計パターンは4つあります。中断と再開、ツールとしての人間、承認フロー、フォールバックエスカレーションです
これらのパターンは組み合わせて使用できます。本番環境では、複数のパターンを重ねて異なるリスクに対応することもあります
EU AI法第14条は、2027年12月2日以降（規制対象製品に組み込まれたAIは2028年8月2日以降）、高リスクAIシステムに対して人による監督を実証できることを求めています。これにより、これらのパターンは任意の取り組みではなく、制裁金を伴う要件になります
「7 career-making AI decisions for CIOs in 2026」（Dataiku/Harris Pollの調査）によると、CIOの74%が少なくとも1つのAIプラットフォームの選定を後悔しています。エージェントのガバナンスにおけるプラットフォームの不足が、その一因となっている可能性があります
ヒューマンインザループ型AIエージェントにとって、なぜガバナンスが重要なのか
ガバナンスが重要なのは、管理されていないエージェントの自律性が、いまや規制、財務、運用の各面でコストを生むためです。例えば、記録のない意思決定に対する制裁金、本番稼働に至る前に停滞するパイロット、組織が後から説明できないアクションなどが挙げられます。
このコストは3つの形で表れます。スピードと統制のあいだの緊張関係、監督が欠けているときの具体的な障害パターン、そして組織がそのギャップを埋めると決めたときに求められる構造的な要件です。
自律性と統制のジレンマ
スピード、説明責任、ユーザーの信頼は、それぞれ異なる方向に引き合います。多くの組織は、エージェントには何らかの人による監督が必要だとすでに認識しています。より難しいのは、それをどこに置くかです。チェックポイントが多すぎるワークフローは、置き換えるはずだった手作業のプロセスよりも遅くなります。少なすぎるワークフローでは、エージェントが単独で下した判断を組織が説明できなくなります。
ガバナンスがない場合に起こること
体系的な人による監督なしにエージェントが動作すると、主に3つの障害パターンが現れます。
ハルシネーションによるアクション：エージェントが事実と異なる情報にもとづいて確信を持ってワークフローを実行し、アクションが反映される前に誰もレビューしない
権限の不正使用：エージェントが想定範囲を超えてシステムにアクセスしたりアクションを実行したりしても、アクセスレビューで検知されない
監査の失敗：規制当局から「この自動化された意思決定を承認したのは誰か」と問われても、承認チェックポイントが存在しなかったため、組織が答えられない
ガバナンスに求められるもの
ガバナンスの効いた人とAIの協働は、一般に次の5つの要素で定義されます。
人による承認が必要な意思決定を定めたポリシー
意思決定を適格なレビュー担当者に振り分ける承認ワークフロー
すべての承認とオーバーライドを改ざんできない形で記録するログ
エージェントを構築する人と、その本番環境での動作を承認する人を分ける役割の分離
エージェントの対象範囲と標準の承認フローのどちらにも当てはまらない例外的なケースのためのエスカレーション経路
AnacondaのState of Data Science & AI Report（第8回）によると、半数以上の組織がAIガバナンスのフレームワークを整備しておらず、ほとんどのAIプロジェクトは本番稼働までに数か月かかっています。追加の承認ハードルとしてしか機能しないガバナンスは、回避されたり放棄されたりしかねません。統制をワークフローに組み込めば、それはエージェントの前に置かれた別のゲートではなく、エージェントの動作そのものの一部になります。
人とAIの協働のための設計パターンとは
エージェントのワークフローに人が関わる方法は、主に4つの設計パターンで整理できます。それぞれが異なる監督ニーズに対応し、組み合わせることで複数のリスクに対応できます。
適切なパターンは、意思決定のリスクレベル、ワークフローが許容できるレイテンシー、適格なレビュー担当者の確保状況という3つの変数で決まります。
1. 中断と再開
エージェントはあらかじめ定めたポイントで実行を一時停止し、人の承認を待ってから処理を続けます。人は、エージェントが提案するアクションと、その判断に至ったコンテキストを受け取り、承認、修正、却下する権限を持ちます。
ガバナンス上のメリット：意思決定の記録を伴う、特定時点のチェックポイントを設けられます。監査証跡には、エージェントが何を提案し、人が何を承認したか、それがいつだったかが残ります。
トレードオフ：人がリクエストに気づいて対応するまでの時間だけ、レイテンシーが発生します。審査にかかる時間がリスクに見合う、重要度が高く頻度の低い判断に最適です。例えば、財務上の承認、顧客対応に関わるアクション、コンプライアンス上の配慮が必要な業務などです。
2. ツールとしての人間
エージェントは人を利用可能なツールの1つとして扱います。不確実性や曖昧さに直面したときや、信頼度のしきい値を下回るタスクに出会ったときに人を呼び出します。人が入力を提供し、エージェントはそれを推論に取り込んで処理を続けます。
ガバナンス上のメリット：グレーゾーンでの自律的な判断を減らせます。エージェントは推測するのではなく、自らの不確実性を認識して人に判断を委ねます。そのやり取りは、入力、出力、タイムスタンプとともにログに記録できます。
トレードオフ：エージェントのキャリブレーションに左右されます。過信したエージェントは、人というツールを呼び出さないかもしれません。逆に、自信のないエージェントは頻繁に呼び出す可能性があります。信頼度のしきい値の調整は、継続的なチューニング作業です。
3. 承認フロー
ポリシーにもとづく承認システムが、エージェントのすべてのアクションを定義済みのルールに照らして評価します。承認が必要なものは、役割、アクションの種類、リスクレベルに応じて適切なレビュー担当者に振り分けられます。
ガバナンス上のメリット：ポリシーにもとづく根拠を備えた、より説明力のある監査証跡を残せます。すべての承認判断が、そのきっかけとなったポリシーを参照するため、規制当局による審査に対応できるよう設計された記録になります。
トレードオフ：ポリシー設計が複雑になります。設計が不十分なポリシーは、ボトルネック（承認が多すぎる）やギャップ（承認が少なすぎる）を生みます。ポリシーのテストとイテレーションを継続的に行う必要があります。
4. フォールバックエスカレーション
エージェントの信頼度が定義済みのしきい値を下回ると、実行を一時停止するのではなく、非同期のチャネル（Slack、Eメール、ダッシュボードの通知）を通じて人にエスカレーションします。エスカレーションの対応を待つあいだ、エージェントは安全なデフォルトのアクションで処理を続けるか、ワークフローの不確実な部分だけを一時停止します。
ガバナンス上のメリット：すべてのアクションを同期的にレビューするのではなく、本当に不確実な判断だけを人に回すため、レビュー担当者の疲労を軽減できます。また、エスカレーションされた判断の平均解決時間というガバナンスKPIにも結び付きます。
トレードオフ：非同期のエスカレーションでは、エージェントが先に処理を進めた後で（安全なデフォルトが設定されている場合）、人が判断をレビューすることになりかねません。取り消しのできないアクションには、同期型の中断と再開のほうが安全です。
ガバナンスのワークフローを支えるフレームワークとツール
ガバナンスのワークフローは、オープンソースのフレームワーク、ポリシーレイヤーのツール、エンタープライズプラットフォームの組み合わせによって支えられています。以下の5つは網羅的なものではありませんが、技術スタックや成熟度に応じて選べるアプローチの幅を示しています。
上の画像をクリックすると、PDFの全体を拡大表示できます
AIの成功を支えるプラットフォーム、Dataikuは、人による監督をエージェントのライフサイクルに直接組み込みます。Agent Reviewは、SME（各分野の専門家）が定義済みのシナリオに照らして、本番稼働の前と稼働中にエージェントの動作を検証する協働型のフレームワークです。
Dataiku Governは、承認ワークフロー、監査証跡、ライフサイクル追跡を提供し、人による判断をガバナンスの記録と結び付けます。Dataiku Agent Managementは、ガバナンス下にあるエージェントがデプロイ後も期待どおりに機能し続けているかを監視します。
ガバナンスのワークフローを段階的に導入する方法
導入は、リスクの洗い出しから本番環境でのイテレーションまで、6つのステップで進めます。
ステップ1：高リスクのアクションと必要なチェックポイントを洗い出す
まず、エージェントが実行できるすべてのアクションを棚卸しし、それぞれをリスクレベル（低、中、高）で分類します。高リスクのアクションを特定したら、それぞれに必要な監督の形を定義します。同期的な承認、非同期の通知、あるいは後でレビューするためにアクションをログに記録するだけで十分か、を決めます。
ステップ2：チェックポイントごとに設計パターンを選ぶ
次に、各リスクレベルに最適なパターンを割り当てます。中断と再開は、重要度が高く取り消しのできないアクションに適しています。ツールとしての人間は、エージェント自身が不確実性を示す曖昧な判断に向いています。承認フローはポリシーで管理されるアクションを扱い、フォールバックエスカレーションは、そのいずれにも当てはまらない例外的なケースをカバーします。
ステップ3：フレームワークを選定して組み込む
パターンが決まったら、既存の技術スタックとチームの成熟度に最も合うフレームワークを選定します。そのうえで、フレームワークが備えるネイティブの仕組みを使い、人による監督ポイントをエージェントのワークフローに組み込みます。
ステップ4：ポリシールールと承認ロールを定義する
続いて、どのロールがどの種類のアクションを承認できるかを文書化します。技術スタックが対応していれば、これらのルールをPolicy as Codeとして実装し、エージェントのコードとあわせてテストやバージョン管理を行えるようにします。
ステップ5：ログとメトリクスを計測できるようにする
ワークフローが稼働したら、人によるすべての対応をログに記録します。何がレビューに提示され、どのような判断が、誰によって、いつ下されたかを残します。
そのログとあわせて、次の3つのメトリクスを追跡します。
承認のレイテンシー：リクエストから判断までの時間
オーバーライド率：エージェントの推奨を人が却下した割合
エスカレーション件数：エージェントごとの1日あたりのエスカレーション数
ステップ6：パイロットを実施し、フィードバックを集めて改善する
まずは1つのエージェントと1つのワークフローでデプロイします。次に、ステップ5の3つのメトリクスを測定し、レビュー担当者から体験そのものについてのフィードバックを集めます。確認依頼の内容は明確か。コンテキストは十分か。エスカレーションは適切なタイミングで届いているか。本番データの最初の30日間など、初期の監視期間を設けて、信頼度のしきい値、ポリシールール、エスカレーション基準を調整してから、適用範囲を広げます。
ヒューマンインザループでよくある課題と対策
ヒューマンインザループのガバナンスをパイロットから本番環境へ移行すると、よく4つの課題が表面化します。レイテンシーへの影響、レビュー担当者の疲労、人の判断におけるバイアス、拡張性の制約です。それぞれに実践的な対策があります。
レイテンシーへの影響
ワークフローに人が加わると、処理時間が延びます。エージェントは、誰かがリクエストに気づいて対応するまで次に進めないためです。日常的な判断であれば許容できることも多いですが、本当に必要なチェックポイントに限定せず、すべてに一律に適用するとボトルネックになります。
対策：緊急性の低いレビューは、Slack、Eメール、ダッシュボードなどの非同期チャネルに回します。同期型の中断と再開は、取り消しのできない重要度の高いアクションだけに限定します。
レビュー担当者の疲労
毎日大量のエスカレーションに対応するレビュー担当者は、確認が雑になりがちです。反復的な判断に集中し続けると、勤務時間の経過とともに注意力が低下する傾向があるためです。放置すると、人による監督の意味そのものが損なわれかねません。形式的に承認するだけでは、レビューをしない場合とほとんど変わらないからです。
対策：決められたスケジュールでレビュー担当者をローテーションし、低リスクの経路は自動化して、人が本当に曖昧なケースだけをレビューするようにします。また、1件あたりの承認時間を疲労のシグナルとして追跡します。
人の判断におけるバイアス
人のレビュー担当者は、ガバナンスのプロセスに自らのバイアスを持ち込むことがあります。それは、担当者ごとの基準のばらつきとして、あるいは承認や却下される判断の種類に見られる系統的な傾向として表れます。監督の目的は、新たな誤りを持ち込むことではなく、エージェントの誤りを見つけることです。そのため、問題はないと決めつけず、監視すべき点といえます。
対策：重要な判断には多様なメンバーで構成されたレビューパネルを用い、レビュー担当者の判断をバイアス監査のためにログに記録します。さらに、担当者間の結果を定期的に比較して、系統的な傾向を特定します。
拡張性の制約
1日に数十件のエスカレーションを想定して構築したレビュープロセスは、件数が数千件規模に増えると破綻し始めることがあります。レビュー担当者の人数は、エージェントのデプロイと同じペースで増えることはほとんどないからです。この増加に備えた計画がなければ、前述の疲労やボトルネックの問題はさらに深刻になります。
対策：リスクベースのルーティングと調整済みのしきい値を用い、不確実な判断や高リスクの判断だけが人に届くようにします。自動承認された判断を定期的にサンプリングし、しきい値が安全な水準にあることを確認します。
ヒューマンインザループ型AIエージェントのベストプラクティスチェックリスト
本番環境での人とAIの協働で一般的に用いられている8つのプラクティスは次のとおりです。
すべての承認判断を、レビュー担当者のID、タイムスタンプ、判断の根拠とともにログに記録する
人によるレビューの確認依頼は簡潔にし、コンテキストを十分に盛り込む。レビュー担当者が素早く、多くの場合1分以内に判断できるようにする
低リスクのアクション経路を自動化し、人の注意を本当に曖昧な判断に集中させる
ガバナンスのポリシーを四半期ごとに見直し、本番データにもとづいて信頼度のしきい値を更新する
明確なエスカレーションのしきい値を定める。どの信頼度スコアで人によるレビューをトリガーするか、どの種類のアクションで常に承認を必須とするかを決める
ガバナンスのプロトコルについてレビュー担当者をトレーニングする。何を確認すべきか、いつさらにエスカレーションすべきか、判断の根拠をどう記録するかを教える
構築担当者と承認担当者の役割を分ける。エージェントを構築した人が、その本番環境での動作を単独で承認しないようにする
ガバナンスの健全性を測定する。承認のレイテンシー、オーバーライド率、エスカレーション件数を運用KPIとして追跡する
次のデプロイで自律性と説明責任を両立させる
ガバナンスパターンは、チームがエージェントの機能を責任を持って拡張するための基盤となります。エージェントの導入に成功している組織は、人による監督を、担当者、メトリクス、改善サイクルを備えたエンジニアリングの一分野として扱っています。
小さく始めましょう。1つのエージェントワークフローで、高リスクのアクションを1つ選びます。設計パターンを1つ適用します。ログを記録できるようにし、3つのガバナンスメトリクス（承認のレイテンシー、オーバーライド率、エスカレーション件数）を測定します。その初期データをもとに調整し、それから範囲を広げます。
Dataikuは、エージェントの評価、承認ワークフロー、リネージ、監査証跡を1つにまとめています。そのため、チームはAIポートフォリオ全体とあわせてエージェントをガバナンスできます。
Discover Dataiku for governed AI agents
Build human-in-the-loop AI agents with Dataikuよくある質問：ヒューマンインザループ型AIエージェント
ヒューマンインザループ型AIエージェントとは
ヒューマンインザループ型AIエージェントは、体系的な人による監督をワークフローに直接組み込んだAIエージェントです。監督のポイントは、後から追加するのではなく、意思決定ポイントとしてあらかじめ定義されています。人は、リスクレベル、ポリシールール、信頼度のしきい値にもとづいて、これらのチェックポイントでエージェントのアクションをレビュー、承認、またはオーバーライドします。
組織はどのような場合にヒューマンインザループ型AIエージェントを使うべきか
アクションが取り消しできない場合、顧客対応に関わる場合、規制対象である場合、あるいは信頼度のキャリブレーションが大規模に検証されていない場合には、ヒューマンインザループ型AIエージェントを使うべきです。金融取引、医療に関する判断、コンプライアンス上の配慮が必要なコミュニケーションなどが代表的な例です。
ヒューマンインザループ型AIエージェントはAIガバナンスをどう強化するか
監督のチェックポイントごとに、エージェントが何を提案し、人が何を承認し、その理由は何かという意思決定の記録を残します。これにより、規制当局、内部監査人、インシデントの調査担当者がコンプライアンス審査で求める監査証跡が得られます。
ヒューマンインザループ型AIエージェントでも効率的に運用できるか
できます。効率的なHITL設計では、低リスクのアクションを完全に自動化し、中リスクの判断には非同期チャネルを使い、同期的な承認は重要度の高いアクションだけに限定します。多くのデプロイでは、人によるレビューが必要な判断はごく一部ですが、その割合はリスクプロファイルによって異なります。
ヒューマンインザループ型AIエージェントの導入に役立つツール
LangGraphは、ステートフルなワークフロー向けに中断と再開のチェックポイントをサポートしています（出典）。CrewAI（出典）とHumanLayer（出典）はツールとしての人間のパターンを、Permit.ioはポリシーにもとづく承認フローをサポートしています（出典）。Dataikuは、大規模なエージェント群のガバナンスに必要なAgent Review、承認ワークフロー、監査証跡を、エンタープライズグレードで提供しています。
LangGraphはLangChain, Inc.の製品です。CrewAIはCrewAI Inc.の商標です。HumanLayerはHumanLayerの商標です。Permit.ioはPermit.io, Inc.の商標です。SlackはSlack Technologies, LLCの商標です。Dataikuは上記のいずれの企業とも提携しておらず、推奨も受けていません。本記事で言及している製品の機能は、2026年7月時点で公開されているドキュメントにもとづいています。
Tags
