【Bedrock AgentCore】Insightsで問題の全体像を掴む

はじめに

皆さんこんにちは！パーソル＆サーバーワークスの小泉です。
前回の記事ではRecommendation + A/Bテストでプロンプトを改善する方法を紹介しました。
今回はRecommendationとは別のアプローチとして、Insights 機能を使ってエージェントの失敗原因を自動分析してみました。

※ Insights は2026年7月時点で Preview 機能です。

なぜこれをやったのか

前回のRecommendationは「システムプロンプトやツール説明を改善する」機能でしたが、エージェントの問題はプロンプトだけとは限りません。
例えばツールのデータが不完全だったり、ユーザーの使い方が想定と違っていたりする場合があります。 Insightsは全セッションを横断的に分析して、失敗の根本原因やユーザーの利用傾向を自動で分類してくれます。
Recommendationが「改善案を出す」のに対して、Insightsは「問題の全体像を把握する」ための機能です。

Insights とは

AgentCoreの最適化機能の全体像は以下の通りです。

Insightsはこの流れの最初のステップに位置し、エージェントのセッションデータを一括分析して問題の全体像を把握する機能です。
以下の3つの観点で情報を整理してくれます。

タブ	何が分かるか
障害分析	失敗カテゴリと根本原因
ユーザーインテント	ユーザーが何を求めているかの分類
実行概要	エージェントがどんなパターンで動いているか

検証の前提

前回の記事と同じ英語学習エージェントを使います。
Optimization検証で蓄積された36セッション分のトレースデータを分析対象にしています。

手順

1. Insightsの実行

agentcore run insights --runtime runtime01 --wait

36セッション分のデータを分析し、数分で結果が出ます。

2. 障害分析タブ

2つの失敗カテゴリが検出されました:

Tool Failure Misinterpretation（1/36セッション）
ツールが「見つからない」を返したとき、エージェントがその結果を正しく伝えず、データを捏造してしまう問題。

根本原因が2つ特定されています

• Agent Hallucination on Tool Lookup Failures -- ツール失敗時にエージェントが自己生成コンテンツを事実のように提示してしまう。プロンプトにツール失敗時の振る舞いが定義されていないことが原因
• Incomplete Tool Resource Dictionary Gaps -- 辞書データが不完全で、よくある単語（paradigm等）が登録されていない

Agent Hallucination and Confabulation（1/36セッション）
ツール結果なしに情報を生成してしまう問題。

3. ユーザーインテントタブ

ユーザーが何を求めているかを自動分類してくれます。
13カテゴリが検出され、上位は

• Paradigm Word Definition Request（8/36）
• English Grammar Correctness Verification（7/36）
• Beginner Grammar Quiz Requests（6/36）

「Paradigm Word Definition Request」が最多なのに辞書に登録されていない → 障害分析の根本原因と一致します。
つまり「ユーザーがよく聞く単語なのにツールが対応できていない」という改善ポイントが明確になります。

4. 実行概要タブ

エージェントがどんなパターンで動いているかが分かります。
11カテゴリが検出され、上位は

• Grammar and Vocabulary Quiz Generation with Educational Explanations（8/36）
• Vocabulary Definition Fallback with Knowledge-Based Explanations（7/36）
• Grammar Checking and Correction with Educational Explanations（7/36）

「Vocabulary Definition Fallback with Knowledge-Based Explanations」が7/36 -- ツールが失敗したときに自分の知識でfallbackしているパターンが多いことが分かります。

Insightsから次のアクションへ

Insightsの分析結果から、具体的な改善アクションが見えます:

分析結果	改善アクション	Recommendationで解決できるか
ツール失敗時にハルシネーション	プロンプトに「ツール失敗時は正直に伝える」を追加	✅ できる
辞書データが不完全	Lambda関数の辞書にparadigm等を追加	❌ コード/データ修正が必要
fallbackパターンが多い	プロンプトに「自分の知識で補完してよい」を明示	✅ できる

このように、InsightsはRecommendationだけでは解決できない問題（ツールのデータ不足など）も含めて可視化してくれます。
マネコン右上の「推奨事項を作成する」ボタンから、Insights結果を元にRecommendationに繋げることもできます。

所感

Recommendationだけだとシステムプロンプトやツール説明の改善に限定されますが、Insightsを使うことでそれ以外の問題（ツールのデータ不足、ユーザーの利用傾向とのミスマッチなど）も含めて改善箇所を網羅的に把握できました。
「何を直せばいいか分からない」状態から脱却する最初のステップとして有効な機能だと感じました。

この記事は私が書きました

小泉 和貴

記事一覧

全国を旅行することを目標に、仕事を頑張っています。