大模型运维

Spanly

spanly.com

Spanly是专为模型上下文协议（MCP）服务器打造的可观测性与监控平台，面向开发AI应用、维护MCP基础设施的技术人员提供全链路观测能力。平台支持MCP服务器运行数据的实时采集、异常告警与性能分析，可帮助使用者梳理请求链路、定位服务故障、优化服务运行效率。适合AI应用开发团队、MCP服务开发者、云原生运维人员在开发测试、上线运维、性能调优等场景使用，解决MCP服务器运行状态不可见、故障难定位的问题。

Athina AI

athina.ai

Athina AI是专注于LLM全生命周期运维的观测与评估平台，核心面向生产环境下大语言模型应用的开发与运维人员，提供幻觉检测、性能诊断、自定义评估三大核心能力。平台可对接多种主流LLM接口，帮助用户实时监控生产环境中模型的输出合规性，快速定位异常输出的根因，同时支持多维度对比不同模型的运行表现，适配对话机器人、内容生成、智能客服、RAG检索增强生成等多种LLM落地场景，帮助团队降低模型运维成本，提升LLM应用的落地稳定性。

Inductor

inductor.ai

Inductor是面向LLM应用开发团队的质量管控平台，核心定位是帮助开发者在全生命周期内提升大语言模型应用的稳定性与成本合理性。平台提供多维度自动化评估能力，可对LLM应用的输出准确性、合规性、相关性等指标进行批量校验；内置生产环境实时监控模块，可捕捉异常输出、调用成功率波动等问题并触发告警；还支持跨角色协作流程，方便不同岗位成员共同参与应用质量优化。目标用户覆盖LLM应用开发工程师、测试人员、产品经理、运维人员等，适用于LLM应用原型验证、上线前测试、上线后运维、版本迭代效果核验等多个场景，可兼容各类主流大模型与LLM应用开发框架，支持本地部署与云端部署两种部署模式。