AIエージェント観測性ランブック: デモ品質を本番信頼に変える

なぜ今重要か

Qiita、Zenn、Hacker Newsの議論は「プロンプト」から「運用」へ移りました。流暢な最終出力だけでは品質を判断できません。

典型的な失敗

目的は達成したように見えても、途中のツール呼び出しで権限不足やタイムアウトが起き、エージェントが文章で補完してしまうケースが増えています。

4層モデル

Intent

業務目的、許可スコープ、成功条件を固定。

Plan

計画ステップと分岐を保存。

Execution

ステップ単位の時刻、入出力ハッシュ、再試行履歴を記録。

Outcome

達成度、準拠性、人手介入要否を評価。

2スプリント実装

1スプリント目で共通イベントスキーマと相関IDを導入。2スプリント目で高リスク操作前ゲートと失敗リプレイを追加します。

指標

計画乖離率、サイレント補完率、人手救済率、ポリシーニアミス件数。

まとめ

エージェント信頼性はプロンプト技法ではなく運用設計です。観測性を先に作るほど、改善速度は上がります。