なぜ可観測性が重要か
AI Agentが本番環境で動き始めると、「なぜ回答がおかしいのか」「どのステップで失敗しているのか」を追跡する仕組みが必要になります。これがLLMアプリケーションの**可観測性（Observability）**です。
可観測性の3要素
- トレース（Trace）: エージェントの実行ステップを記録
- メトリクス（Metrics）: レイテンシ、コスト、エラー率を計測
- 評価（Evaluation）: 回答品質をスコアリング
主要ツール比較
| ツール | 特徴 | 価格 |
|---|---|---|
| LangSmith | LangChain公式、最も普及 | 無料枠あり |
| Langfuse | OSS、自前ホスト可能 | 無料 (OSS) |
| Arize AI | エンタープライズ向け | 有料 |
| Helicone | シンプル・軽量 | 無料枠あり |
LangSmith導入例
import os
from langsmith import traceable
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "yo