LangFuse

LangFuse 是免费开源 tool，让你在 AI agent 运行时观察并 debug。向 agent 添加小段 code snippet，LangFuse 开始收集每个 prompt、model response 与 user input。它以 neat timeline 展示数据，可看到 agent 每步行动、调用耗时及 error 位置。可为 run 打 tag、搜索并比较不同 prompt version 以找出最佳方案。dashboard 还跟踪 token usage 与 latency，帮助降 cost 并提升 speed。因 LangFuse 将 data 存于自有 database，你对敏感文本完全掌控。它与 LangChain 等 popular framework 配合良好，可在出问题时向 Slack 或 email 发送 alert。