はじめに
こんにちは、サーバーワークスの福田です。
最近、自作のシステム（Python）に Amazon Bedrockを使った AI アシスタント機能を組み込みました。
動いてはいるものの、こんなことが気になり始めました。
- AI のレスポンスが遅い気がするけど、どこがボトルネックなのか分からない
- トークンをどれくらい消費しているのか把握できていない
- もし多数の利用者がいる場合、どんなプロンプトが飛んでいるのか確認する手段がない
そこで試したのが New Relic の AI モニタリング機能です。 設定はAPMの設定ファイルに数行追加するだけでした。今回は実際の設定内容と、設定後に何が見えるようになったかをご紹介します。
AI を使ったアプリの「見えない問題」
Bedrock を組み込んだアプリを通常の APM で監視すると、Bedrock の呼び出しは「外部 HTTP 呼び出し」としか見えません。中で何が起きているかはブラックボックスです。
具体的には、こういった問題が見えてきません。
- どんなプロンプトを送っているか、意図通りに渡せているか確認できない
- トークン数が増えてコストが上がっていても気づけないなど
New Relic の AI モニタリングを有効にする
設定は newrelic.ini に以下の 内容を追記するだけで動作しました。
# AI モニタリング機能全体を有効化 ai_monitoring.enabled = true # プロンプト（入力）とレスポンス（出力）のテキスト内容を記録 ai_monitoring.record_content.enabled = true
record_content.enabled の設定による違い
record_content.enabled の値によって、取得できるデータと必要な作業が変わります。
| 設定値 | テキストの保存 | トークン数の記録 | コード変更 |
|---|---|---|---|
| true | あり（プロンプト・レスポンス全文） | あり（サーバー側で自動付加） | 不要 |
| false | なし | なし | トークン数も記録したい場合は必要 |
注意:
falseにするとエージェントが プロンプト情報を New Relic に送信しなくなるため、トークン数も付加されなくなります。「テキスト内容は制限しつつ、トークン数（コスト）も記録したい」という場合は、set_llm_token_count_callbackAPI（アプリ言語によって異なります） を使ってアプリ側でトークン数を計算し New Relic に転送するコールバックを実装する必要があります。
詳細な設定に必要なパラメータ情報は以下ドキュメントをご確認ください。
実際に何が見えるようになったか
プロンプトとレスポンスが APM から確認できる
New Relic の APM 画面に 「AI Responses」 というセクションから確認ができます。 （AI Monitoringメニューからも確認可能です）
確認できる情報はこちらです。（アラート設定も可能です）
| 項目 | 内容 |
|---|---|
| プロンプト | システムプロンプト＋ユーザーメッセージ |
| レスポンス | AI が返したテキスト |
| モデル | anthropic.claude-xxxxxx など |
| トークン数 | 入力・出力それぞれ |
| レスポンスタイム | Bedrock 呼び出し単体の所要時間 |
さらにドリルダウンするとスパン情報も確認できます。
「本番でどんなプロンプトが飛んでいるか」をコードを見なくても確認できるのは、思った以上に便利だと思います。プロンプトを改修した後に意図通りの内容が渡せているかの確認
またトークン数も確認できるので、プロンプトを改修した後にトークン数が増えていないか、コストに影響が出ていないかを継続的に確認できます。
「Model Inventory」という画面では、利用している各モデルのインベントリ情報を一覧で確認することができます。
コストのシート画面
まとめ
New Relic の AI モニタリングを自作アプリに入れてみた感想をまとめます。
newrelic.iniに数行追加するだけで有効になる（コード変更不要なのが良い）- Bedrock のプロンプト・レスポンス・トークン数・レイテンシが APM から確認できる
マイクロサービス化の時と同様に、AIの導入が進むにつれて、AIエージェント同士の連携や複雑な処理フローなど、システムの中に新たな「ブラックボックス」が増えていきます。そのため、AIの挙動を正確に把握するオブザーバビリティは、これからのシステム運用において欠かせない要素になってくると考えております。
AIによる「業務の効率化」と「AI自体の可視化」をセットで考えることも、これからのオブザーバビリティに必要な考え方かなと感じております。
New Relic APM の導入方法については以下のブログも参考にしていただければと思います。
宣伝
弊社では、お客様環境のオブザーバビリティを加速するための New Relic アカウント開設を含めた伴走型の New Relic 導入支援サービスをご提供しております。もしご興味をお持ちの方は、こちらのNew Relic 導入支援サービスのページよりお問合せ頂けましたら幸いでございます。
・福田 圭(記事一覧)
New Relic Partner Trailblazer。New Relic Trailblazer of the Year 2025受賞。New Relic User Group運営。
