多模态评测
mmstar-benchmark.github.io
MMStar是面向大型视觉语言模型多模态能力评估的基准测试集平台，核心定位是为多模态模型研发领域提供标准化、低偏差的能力评测方案。平台包含1500个经过人工筛选的视觉语言样本，覆盖6类核心能力与18个细分评估维度，同时提供传统准确率之外的两套新增评估指标，可帮助研究者识别模型数据泄露风险、量化多模态训练带来的实际性能增益。其目标用户涵盖AI领域研究人员、多模态模型开发团队、高校人工智能相关专业师生，可应用于模型迭代效果验证、学术研究实验评测、模型公开能力对比等多种场景。
rank.opencompass.org.cn
OpenCompass司南是由上海人工智能实验室联合多家机构发起的开源大语言模型评测平台，核心定位为提供中立、可复现的大模型能力评测服务。平台支持超100个主流基准数据集，覆盖知识推理、数学计算、代码生成、语言理解、多模态处理等二十余个能力维度，可满足不同场景下的模型性能核验需求。平台面向大模型研发团队、AI领域研究者、企业技术选型人员、高校相关专业学生等群体，可用于模型研发过程中的能力迭代验证、学术研究中的性能对比、企业落地场景下的模型选型参考等多个场景，同时所有评测流程与数据完全开源，支持用户自定义评测任务配置。
lastexam.ai
Humanity's Last Exam 是面向大型语言模型学术能力评估的多模态基准测试平台，由全球多领域专家联合开发。核心功能包括覆盖100余个学科的标准化试题库、支持多模态模型的统一测试流程、自动化生成详细学术能力评估报告。目标用户覆盖AI模型研发团队、高校人工智能研究人员、AI行业评测机构、科技企业算法开发部门等，可用于大模型学术能力摸底测试、不同模型学术能力横向对比、模型迭代效果验证、AI学术评测相关研究等场景，为人工智能技术在学术领域的性能优化提供参考依据。