大模型监控
langfuse.com
Langfuse是一款开源的LLM应用全生命周期分析管理工具，核心定位为开发者及AI产品团队提供LLM应用的生产环境观测、质量评估与成本优化能力。核心功能包括全链路请求追踪，可还原LLM应用从输入到输出的完整调用链路；多维度指标分析，支持成本、延迟、准确率等核心指标的聚合统计；内置Prompt管理模块，可实现不同版本Prompt的迭代、对比与上线。目标用户覆盖AI应用开发者、产品经理、运维工程师、算法工程师等群体，可用于LLM应用上线前的调试场景、上线后的运行监控场景、迭代过程中的效果对比场景，帮助团队系统化管理LLM应用的全流程运行状态。
usageguard.com
UsageGuard是一个面向AI应用开发与运维团队的专用平台，核心定位为帮开发者和企业完成AI应用从构建到上线后的全链路安全防护、成本管控与行为跟踪。平台支持对大语言模型调用行为进行实时监控，可识别异常请求、管控token消耗，同时记录完整的交互日志供溯源分析。核心功能包含AI安全扫描、token成本管控、调用行为追踪、异常告警通知、合规日志存储，适合AI开发团队、AI产品运维人员、企业AI项目管理者等使用，可应用在AI应用上线前安全检测、生产环境调用成本控制、合规审计日志留存等多种场景。
promptlayer.app
PromptLayer是面向大语言模型应用开发者的可观测性管理工具，核心定位为LLM应用全链路运维与调试平台。核心功能包括LLM请求全链路追踪、Token用量与成本统计分析、多步骤AI工作流异常调试，支持OpenAI、Anthropic等主流大模型接口对接。目标用户覆盖AI应用开发者、产品运营团队、企业技术负责人，可用于LLM应用上线前的功能调试、上线后的性能监控、日常运营中的成本管控等场景，帮助团队及时定位应用运行问题，优化资源配置效率。
helicone.ai
Helicone AI是面向开发者的开源大语言模型应用运维平台，核心定位为LLM调用全链路观测与调试工具。核心功能包括LLM请求全量日志记录、调用指标实时监控、错误请求快速溯源，支持多厂商大模型接入，无需额外安装SDK即可完成接入配置。目标用户覆盖大模型应用开发者、AI产品运维人员、算法调优工程师、技术团队负责人等群体，适用于大模型应用上线前性能测试、生产环境运行状态监控、接口异常问题排查、调用成本统计分析、prompt效果对比实验等多个场景，帮助开发者降低LLM应用运维复杂度，提升应用稳定性。