AI性能评估
raga.ai
RagaAI 是面向AI开发者的智能代理开发全流程管理平台，核心围绕AI代理的运行观测、性能评估、问题调试三大核心场景提供技术支持。平台支持多框架AI代理接入，可实时采集代理调用链、数据交互、决策逻辑等全维度运行数据，内置多场景评估测试集，能够自动识别代理决策偏差、幻觉、上下文丢失等常见问题，同时提供可视化调试面板辅助开发者定位根因。其目标用户覆盖AI应用开发者、大模型应用团队、企业AI技术部门等群体，可应用于AI代理原型验证、上线前压力测试、线上运行监控、迭代优化等多个阶段，帮助开发者降低AI应用落地风险，提升AI工作流的稳定性。
coval.dev
Coval是专注于AI代理测试与评估的专业平台，核心定位为AI代理全链路性能优化工具，核心功能包含AI驱动的多场景交互模拟、语音/聊天代理全维度测试、多维度性能评估报告生成。平台面向AI代理开发人员、企业客户服务负责人、AI产品经理、语音技术研发人员等群体，适用于AI代理上线前的可靠性验证、日常迭代的性能对比、客户服务类AI代理的服务质量校准等多个场景，帮助用户降低AI代理上线后的出错概率，提升运行稳定性与交互效率。
rank.opencompass.org.cn
OpenCompass 2.0 Large Language Model Leaderboard是面向大语言模型领域的专业性能评估平台，核心定位是提供中立、多维度的大模型能力评测结果展示。平台支持全球主流大语言模型的多维度能力评估，覆盖语言理解、知识储备、逻辑推理、数学计算、代码开发等多个技能维度，可生成模型综合排名与单项能力得分对比，支持不同模型的横向能力对标。目标用户包含大模型研发人员、AI领域研究者、企业技术选型负责人、AI应用开发者、高校计算机专业师生等群体，可用于大模型研发效果验证、学术研究性能参照、企业落地模型选型、AI应用开发模型匹配等多种场景，为大模型相关的研发、选型、研究工作提供客观的数据参考。
toolhouse.ai
Toolhouse AI是面向AI开发者的后端即服务（BaaS）平台，核心定位是降低AI代理开发的底层架构门槛，让开发者可聚焦业务逻辑实现。核心功能包括代理一键部署、内置多场景工具调用、自动化性能评估、上下文内存管理、Agent Studio可视化构建等。目标用户覆盖AI应用开发者、企业技术团队、独立开发者、AI研究人员等。可应用于AI聊天机器人开发、智能工作流搭建、RAG应用落地、AI代理生产环境部署等场景，简化从本地原型到生产上线的全流程工作。
thefoundryai.com
Foundry AI是面向AI代理开发与运维场景的管理平台，核心定位为AI代理全生命周期管理工具，可帮助用户完成AI代理的构建、效果评估与性能迭代工作。平台支持自定义人工干预规则，可针对AI代理输出结果设置触发人工审核的阈值，同时提供A/B测试模块，支持多版本AI代理同步运行并对比效果，还搭载实时反馈系统，用户反馈可直接同步至AI代理迭代流程。平台面向AI产品开发者、企业运维人员、算法测试人员等群体，适用于AI客服代理优化、业务自动化代理调试、企业内部AI工具迭代等多种场景。
lastexam.ai
Humanity's Last Exam 是面向大型语言模型学术能力评估的多模态基准测试平台，由全球多领域专家联合开发。核心功能包括覆盖100余个学科的标准化试题库、支持多模态模型的统一测试流程、自动化生成详细学术能力评估报告。目标用户覆盖AI模型研发团队、高校人工智能研究人员、AI行业评测机构、科技企业算法开发部门等，可用于大模型学术能力摸底测试、不同模型学术能力横向对比、模型迭代效果验证、AI学术评测相关研究等场景，为人工智能技术在学术领域的性能优化提供参考依据。
promptql.hasura.io
PromptQL是面向AI场景的代理数据访问工具，核心定位是提升私有数据检索的效率与准确性。其核心功能包括代理查询规划、LLM适配处理、非标准化查询解析，可模拟人类信息检索逻辑，先收集相关数据再匹配合适的大语言模型完成分类与后续处理。目标用户覆盖AI应用开发者、企业数据运维人员、AI代理研发团队、企业业务分析人员等，适用于企业内部私有知识库检索、AI助手数据调用优化、封闭领域非结构化查询响应、AI代理性能评估等多个场景，可解决传统搜索算法在封闭领域的数据检索局限性问题。