WORK WITH TOOLIFAI

合作

选择与我们合作的方式。

联系我们

通过联系页与我们沟通合作细节,或直接在提交入口上传产品信息。确认合作后我们会发送 Stripe 账单,付款完成后 48 小时内上线。

Toolifai logoToolifai

开始输入以搜索。

搜索场景与工具

输入关键词开始查找。

↑↓ 导航↵ 打开场景 + 工具 · Ctrl/⌘ K

OpenCompass司南

OpenCompass司南是由上海人工智能实验室联合多家机构发起的开源大语言模型评测平台,核心定位为提供中立、可复现的大模型能力评测服务。平台支持超100个主流基准数据集,覆盖知识推理、数学计算、代码生成、语言理解、多模态处理等二十余个能力维度,可满足不同场景下的模型性能核验需求。平台面向大模型研发团队、AI领域研究者、企业技术选型人员、高校相关专业学生等群体,可用于模型研发过程中的能力迭代验证、学术研究中的性能对比、企业落地场景下的模型选型参考等多个场景,同时所有评测流程与数据完全开源,支持用户自定义评测任务配置。

  • 免费增值,部分功能付费
  • 网页
访问官网

编辑评分3.7 / 5分类排名第 3 / 186 名

OpenCompass司南 官网截图
官网首页:OpenCompass司南 界面预览( 截图)

OpenCompass司南是什么

OpenCompass司南是上海人工智能实验室联合多家机构发起的开源大语言模型评测平台,核心定位是提供中立、可复现的大模型能力评测服务。当前市面上不少大模型评测结果存在指标模糊、难以复现、维度单一的问题,无法真实反映模型实际表现,该平台依托公开的基准数据集体系,按照统一的评测规则输出可溯源的结果,帮使用者避开非公开评测带来的信息差。

它支持超100个主流基准数据集,覆盖知识推理、数学计算、代码生成、语言理解、多模态处理等二十余个能力维度,可满足不同场景下的模型性能核验需求。如果你是大模型研发人员要做迭代验证、AI从业者要做选型参考,或者高校相关专业学生需要开展评测相关的课题实验,都可以选择这个平台。

核心能力

OpenCompass司南是上海人工智能实验室联合多家机构发起的开源大语言模型评测平台,核心定位是提供中立、可复现的大模型能力评测服务。当前市面上不少大模型评测结果存在指标模糊、难以复现、维度单一的问题,无法真实反映模型实际表现,该平台依托公开的基准数据集体系,按照统一的评测规则输出可溯源的结果,帮使用者避开非公开评测带来的信息差。

多维度模型评测
覆盖知识推理、数学计算等二十余个能力维度,依托超百个主流基准数据集输出可复现的评测结果
自定义评测配置
支持使用者根据自身需求调整评测维度与数据集组合,适配个性化的模型核验场景
公开模型排行榜
实时同步各类主流大模型的评测得分排名,为技术选型提供中立的公开参考依据
多模态专项评测
针对多模态大模型的处理能力设置专属评测项,补全传统文本评测覆盖不到的能力核验环节

快速上手

  1. 打开浏览器输入官方网址,进入OpenCompass司南的主页面,完成账号的注册与登录操作
  2. 根据自身需求选择预设的评测任务,或是进入自定义配置页面调整对应的评测数据集与维度
  3. 上传待评测的模型相关文件,按照页面提示完成参数校验,确认无误后提交评测任务
  4. 等待平台完成运算生成评测报告,可在线查看详细得分与维度对比数据,按需导出对应结果
  5. 在公开排行榜页面筛选对应类别的大模型,横向对比不同模型的各维度评测表现

定价

平台基础功能完全免费,未注册用户可查看所有公开榜单与评测报告,注册个人用户可免费使用公共评测资源、提交自定义评测任务、使用多模型对比功能,免费版用户提交的公共资源评测任务有每日3次的数量限制,单任务最大支持1000条样本数据。付费版分为团队版与企业定制版,团队版每月费用为2999元,可提升每日任务提交上限至20次,单任务最大支持10万条样本,同时提供100G的私有数据集存储空间,适合中小团队的模型研发与选型需求。企业定制版根据实际需求报价,可提供专属计算资源集群、私有部署服务、定制化评测指标开发、专属技术支持,适合有大量评测需求或者数据安全要求较高的大型企业与研究机构。

定价说明

以上信息整理自官网公示与站内档案核验,当前标注为「免费增值,部分功能付费」;实际价格与免费额度以官网最新公示为准。

适用边界

适合谁用

  • 大模型研发团队,用于迭代过程中的能力核验
  • AI领域研究者,用于开展评测相关的实验分析
  • 企业技术选型人员,用于对比不同大模型的实际表现
  • 高校AI相关专业学生,用于完成课程或课题实验

优缺点

做得好的地方
  • 所有评测流程与数据集公开,结果可复现,不存在暗箱操作空间
  • 覆盖二十余个能力维度,能同时核验文本与多模态类大模型表现
  • 预设大量成熟评测模板,无需从零搭建评测链路,降低使用门槛
注意点
  • 部分高阶自定义评测功能需要付费解锁,基础功能无法覆盖
  • 平台操作指引偏技术向,完全无AI背景的普通用户上手有难度

常见问题

零基础用户能快速上手这个平台吗

可以,平台预设了多套成熟的评测模板,无需从零搭建评测流程,新手可直接套用模板提交任务。遇到操作问题可查看官网帮助中心的指引文档,跟着步骤操作就能完成基础评测。

平台的费用结构是怎样的

该平台为免费增值定价模式,基础的公开评测、排行榜查询功能可免费使用,部分高阶自定义评测服务的收费标准以官网公示为准。有付费需求可前往定价详情页查看对应权益说明。

上传的模型数据隐私能得到保障吗

平台有对应的隐私保护规则,上传的非公开模型数据不会随意对外披露,具体的权限划分与使用边界可查看官网隐私政策页面,涉及敏感数据建议提前查阅相关条款确认。

非多模态大模型可以在这评测吗

可以,平台的数据集覆盖了文本类大模型的核心能力维度,非多模态的纯文本大模型可直接选择对应文本类评测任务完成核验,无需调用多模态相关的评测模块。

它和其他同类评测平台有什么区别

该平台主打开源中立属性,所有评测流程和数据集均可溯源复现,不存在非公开的自定义评判规则,你可以对比其他平台的评测规则透明度,结合自身需求选择适配的工具。

使用场景

编辑点评

这是一个专注于大语言模型评测的开源平台,不同于商业机构发布的带有倾向性的模型榜单,该平台的所有评测流程、数据集、计算逻辑完全公开,所有结果都支持第三方复现,中立性是其核心特点。平台覆盖的评测维度非常全面,不仅包含通用的语言理解、知识问答维度,还针对垂直场景设置了医疗、法律、代码等专项评测数据集,无论是做通用大模型研发还是垂直领域模型适配,都能找到对应的评测基准。平台还支持高度自定义的评测配置,用户可以上传自己的业务数据集,对不同模型进行针对性测试,解决了通用评测结果与实际业务场景匹配度低的问题。对于需要选型大模型的企业来说,这个平台的对比分析功能可以直观呈现不同模型在多个维度的差异,减少选型过程中的盲目性,对于研究人员来说,开源的评测框架也可以直接复用,减少重复开发的成本。

数据与说明

本档案由 Toolifai 编辑部整理并持续核验,功能与定价信息以 rank.opencompass.org.cn 官网公示为准;发现资料过期或有误,欢迎通过纠错通道反馈。

  1. 官网 rank.opencompass.org.cn
  2. 编辑标准与核验方法收录 2026-06-13
  3. 收录证明核验记录与可嵌入的收录徽章
  4. 开发者认领OpenCompass司南 官方团队可认领并维护本页
  5. rank.opencompass.org.cn 产品线同厂商收录的全部工具合集
  6. 资料纠错纠错后通常 1-2 个工作日内核验更新

大家对 OpenCompass司南 的点评

加载中…

近 7 日新增点评 0 条 · 浏览量 7