模型性能评估

APIGen

apigen-pipeline.github.io

APIGen是专注于函数调用场景的自动化数据生成管道平台，核心定位是为大语言模型函数调用相关应用提供可验证的结构化数据集支持。平台支持多类型函数调用数据集生成、三层校验机制保障数据质量、批量生成适配不同模型训练需求的数据集，主要面向大语言模型研发人员、AI应用开发工程师、函数调用代理系统开发者，可用于模型训练数据集构建、函数调用逻辑验证、代理系统性能测试等场景，帮助开发者降低函数调用相关数据集的构建成本，提升相关AI系统的调用准确率。

Evidently AI

evidentlyai.com

Evidently AI是专注于机器学习模型全生命周期监控与评估的开源工具平台，核心定位为ML从业者提供数据质量校验、漂移检测、模型性能评估等一站式可观测能力。其核心功能包括支持结构化数据模型与大语言模型应用的多场景评估，内置百余种预设指标与可视化报告模板，可无缝对接本地Python开发环境与云端生产部署链路。目标用户覆盖机器学习工程师、数据科学家、AI产品运维人员、大语言模型应用开发者、科研机构AI研究人员以及企业AI团队。可应用于模型上线前的验证测试、生产环境实时监控告警、大语言模型RAG系统效果迭代、模型合规性审计、团队模型实验效果对比等多个场景。