LLM监控
openlit.io
OpenLIT是聚焦生成式AI与大语言模型应用可观察性的开源AI工程平台，核心定位是为AI应用全生命周期的运行状态监控、性能优化提供技术支撑。平台支持OpenTelemetry原生集成，可实现多维度细粒度的LLM调用数据洞察，同时提供代码全透明与私有化部署选项满足不同场景的数据安全需求。目标用户覆盖AI应用开发者、数据科学家、企业AI工程团队，适用于LLM应用上线前的性能调试、运行中的异常排查、资源使用成本核算、多模型调用效果对比等场景，帮助相关从业者简化AI应用运维流程，提升应用运行稳定性与资源使用效率。
langwatch.ai
LangWatch是面向大型语言模型应用全生命周期的监控、评估与优化平台，核心服务于AI应用开发团队、企业算法部门等用户群体。平台支持LLM应用全链路的运行数据采集，可针对生成内容的准确性、合规性等维度开展自动化评估，还能基于DSPy框架实现提示词与模型组合的智能寻优。开发者可在LLM应用开发迭代阶段用其验证生成效果，上线后用其监控异常输出，还能在版本迭代时快速完成效果对比，助力AI团队降低LLM应用的开发与运维成本，加快产品落地进度。
llmonitor.com
LLMonitor是面向大语言模型应用开发者的观测与优化平台，核心为LLM应用提供全链路的运行数据采集、分析与迭代支持。平台核心功能包括全维度LLM调用日志追踪，可完整记录每次模型请求的输入输出、响应时长、token消耗等参数；内置对话评估体系，支持开发者结合业务规则对模型回复质量进行打分标注；还提供多维度成本分析能力，可按模型类型、调用时段、用户群体拆分token消耗情况。平台服务于AI应用开发者、产品经理、运维人员等群体，可用于聊天机器人迭代、AI Agent开发调试、企业级LLM应用上线后的日常运维等场景，帮助开发者及时定位模型调用异常、优化prompt设计、控制整体使用成本。
vellum.ai
vellum.ai是面向大语言模型应用开发场景的全流程开发平台，核心定位是帮助开发者降低LLM应用落地的技术门槛，实现从原型验证到生产部署的全链路管理。平台支持跨LLM厂商的提示工程调试、语义搜索能力搭建、LLM调用全生命周期监控三大核心功能，覆盖prompt迭代、模型切换、应用稳定性运维等多个环节。目标用户包含AI应用开发者、企业AI项目负责人、AI产品经理等群体，可应用于智能客服系统搭建、企业知识库问答开发、生成式AI内容生产工具落地等多个场景，帮助团队减少重复开发工作，提升LLM应用的上线效率。
athina.ai
Athina AI是专注于LLM全生命周期运维的观测与评估平台，核心面向生产环境下大语言模型应用的开发与运维人员，提供幻觉检测、性能诊断、自定义评估三大核心能力。平台可对接多种主流LLM接口，帮助用户实时监控生产环境中模型的输出合规性，快速定位异常输出的根因，同时支持多维度对比不同模型的运行表现，适配对话机器人、内容生成、智能客服、RAG检索增强生成等多种LLM落地场景，帮助团队降低模型运维成本，提升LLM应用的落地稳定性。
lmnr.ai
Laminar.ai是一个开源全栈AI工程平台，核心定位是从第一性原理出发助力开发者提升大语言模型（LLM）应用开发质量。平台支持多模态模型运行数据追踪、零开销可观测性分析、在线评估与数据集构建三大核心功能，面向AI应用开发者、算法工程师、技术团队负责人等群体，可满足LLM应用开发调试、生产环境运行监控、模型迭代效果验证、多模态模型适配开发等场景需求，同时支持便捷自托管部署，适配不同规模团队的自主可控部署要求。