Toolifai logo
Toolifai 编辑整理

AGI-Eval评测社区

AI模型开发者社区

是由上海交通大学、同济大学、华东师范大学以及 DataWhale 等高校和机构合作推出的大模型评测社区

访问官网
国内可访问收录证明开发者认领
官网预览官网首页：AGI-Eval评测社区 界面预览（2026.10.18 截图）1 / 1
适用对象
大模型研发工程师 查找第三方公开评测参考数据
主要功能
评测任务共享、评测结果公示
平台
网页
已收录
2026.10.18（13 天）
阅读目录

AGI-Eval评测社区是什么，怎么使用？

约 3 分钟

AGI-Eval评测社区，是由上海交通大学、同济大学、华东师范大学以及 DataWhale 等高校和机构合作推出的大模型评测社区

AGI-Eval评测社区是上海交通大学、同济大学、华东师范大学与DataWhale等高校及机构联合推出的大模型评测类开发者社区，面向大模型相关从业者、研究者开放公共评测协作空间。当前大模型评测标准分散、不同主体的评测结果参考性参差不齐，社区依托合作方的学术与实践资源，聚合不同背景用户的评测需求，搭建公开的评测任务共享、结果公示的公共协作平台，降低普通开发者参与大模型评测的准入门槛。

社区的核心能力围绕大模型评测相关的协作、公示场景展开，所有规则与可使用的评测工具范围以官网最新公示内容为准。如果你是大模型研发人员，需要获取公开可信的第三方评测参考；或是AI方向的学生、研究者，想要参与公开的大模型评测项目积累实践经验，都可以进入该社区查找适配的资源。

主要功能

  • 评测任务共享：用户可查看社区内公开的各类大模型评测任务，按需认领参与，获取官方认可的评测参与记录
  • 评测结果公示：所有社区内产出的合规评测结果统一公开展示，不同用户可交叉核验数据，减少信息差
  • 开发者交流区：围绕大模型评测相关的技术问题，同领域用户可直接发帖互动，交换实操经验
  • 机构资源对接：合作高校、机构发布的评测相关招募、公开课题信息，可直接在社区内查询申请

怎么使用

  1. 打开浏览器输入AGI-Eval评测社区官网地址，进入社区主页面完成账号注册
  2. 浏览社区首页的公开评测任务列表，筛选与自身研究或工作方向匹配的任务查看详情
  3. 确认任务参与要求后提交参与申请，通过审核后即可获取对应评测任务的操作权限
  4. 按任务指引完成评测操作，提交结果后等待官方核验，核验通过后可在公示区查看结果

适合什么人群

  • 大模型研发工程师 查找第三方公开评测参考数据
  • AI方向高校学生 参与公开评测项目积累实操经验
  • 大模型相关研究者 发布自定义评测任务获取协作
  • AI行业从业者 查阅公开大模型评测横向对比结果

用 AGI-Eval评测社区 做大模型基准性能横向对比

打开AGI-Eval评测社区官网首页，在顶部导航栏找到「评测榜单」入口点击进入。页面会展示不同维度的大模型公开评测结果，可勾选你关注的多个模型，选定指定评测维度后生成对比视图。

你可以直接查看各模型在对应任务下的得分分布，也能下载整理好的结构化对比表格，所有数据均来自社区合作高校及机构的统一评测流程。无需自行搭建复杂评测环境，就能获取统一标准下的多模型横向参考结果。

用 AGI-Eval评测社区 提交自定义大模型评测任务

从官网首页的「我的评测」板块完成身份校验后，选择「新建自定义评测」选项。按页面提示上传待评测的大模型接口信息，勾选你需要调用的社区公开评测数据集，提交后等待系统后台调度运行。

任务运行完成后，你会收到平台推送的结果通知，可在个人中心查看该模型在选定数据集下的各项得分明细，还能导出对应的评测过程日志，确认每一条测试用例的实际输出与判定依据。所有评测流程均遵循社区公开的统一判定规则，结果可直接用于内部模型迭代参考。

开始使用 AGI-Eval评测社区

打开AGI-Eval评测社区官网，点击页面右上角的登录按钮，支持手机号验证方式完成账号注册登录。平台当前未标注公开定价，所有涉及服务权限的费用说明，均以官网公示为准。

首次进入可先浏览首页的公开评测榜单，熟悉社区采用的评测数据集类型与判定标准，再尝试操作公开的示例评测任务，熟悉全流程步骤后再提交自定义的专属评测需求。

优点与不足

优点

  • 背靠多所高校及行业机构，评测相关资源的可信度较高
  • 社区成员以相关领域从业者、研究者为主，交流精准度高
  • 公开评测结果可交叉核验，参考价值高于零散的个人评测

不足

  • 当前仅支持web端访问，无移动端适配的独立应用
  • 社区内开放的评测任务数量有限，部分细分方向任务较少

能帮你做的 7 件事

  1. 01评测任务共享
  2. 02评测结果公示
  3. 03开发者交流区
  4. 04机构资源对接
  5. 05开发者社区场景的常用方案
  6. 06大模型研发工程师 查找第三方公开评测参考数据的日常效率工具
  7. 07在网页等多端直接使用

更新历史

  • AGI-Eval评测社区 收录进 Toolifai 目录
  • 页面资料核验与信息更新

常见问题

没有大模型评测经验能上手使用吗

可以。社区内大部分公开评测任务都附带有基础操作指引，新手可从低门槛的入门任务开始参与，逐步熟悉评测全流程，不需要提前积累过高的相关经验储备。

有帮助吗

使用社区的所有功能需要付费吗

目前社区定价未标注，所有功能的使用规则、是否涉及付费，都以官网最新公示的说明为准，用户进入后可先查看对应板块的使用提示再操作。

有帮助吗

我上传的评测数据会被随意公开吗

不会。用户自主上传的非公开专属评测数据，所有权归上传者所有，社区不会未经授权对外披露，具体隐私规则可查阅官网公示的隐私政策详情。

有帮助吗

这里能测所有类型的大模型吗

不能。社区当前开放的评测任务有明确的适配范围，仅支持符合任务要求的大模型参与评测，超出范围的模型无法在现有任务框架内完成合规评测。

有帮助吗

开始使用 AGI-Eval评测社区

从官方入口了解最新功能与使用方式。

前往官网

由 Toolifai 编辑维护

欢迎产品方补充截图、功能介绍与官方资料。更新和纠错由编辑审核后发布。

参考来源官方产品介绍最近核验 2026.10.18
提交资料更新邮件反馈

大家对 AGI-Eval评测社区 的点评

加载中…

写点评

每周三，一封 AI 工具周刊

编辑精选本周值得试的新工具与真实用法，5 分钟读完，已连续更新 5 期。

每周一封，随时可退订。往期内容见AI 工具周刊归档。

同类替代工具

文心大模型

文心大模型是百度推出的生成式AI服务平台，依托深度学习技术为用户提供多模态AI创作与交互能力。核心功能包括多轮智能对话、多风格文本生成、跨模态文生图、多模态理解分析等，可满足内容创作、创意策划、信息查询、知识学习等多类需求。目标用户覆盖内容创作者、学生、职场人士、科研人员、企业运营人员等，适用于文案撰写、创意构思、作业辅助、工作提效、行业解决方案搭建等多种场景。

#生成式AI#AI写作#文生图
对比

DeepSeek

DeepSeek是国内专注于大模型技术研发的公司推出的智能对话产品，核心搭载DeepSeek-R1推理模型与DeepSeek-V3通用模型，支持深度逻辑推理、多场景代码生成、复杂数学问题解答等能力，模型开源开放可本地部署。产品面向技术开发人员、科研工作者、学生群体、职场办公人员等用户，可满足代码调试、学术研究、习题解答、方案推导等多场景使用需求，为用户提供高效的智能辅助服务。

#DeepSeek#开源AI#大模型
对比

DeepSeek-R1-Lite-Preview

DeepSeek-R1-Lite-Preview是深度求索（DeepSeek）推出的聚焦推理能力的AI模型预览版本，核心定位是为用户提供具备长链条逻辑推导能力的智能交互服务。核心功能包括数学问题推理求解、多领域逻辑任务处理、透明化思考过程展示，可将每一步推导逻辑同步呈现给用户。目标用户覆盖科研人员、教育工作者、开发者、学生、企业技术人员等群体，适用于数学题解验证、技术问题推导、逻辑类任务原型开发、推理类AI应用功能测试等场景，帮助用户完成需要复杂逻辑思考的相关任务。

#AI推理模型#数学解题工具#大模型预览
对比

DeepSeek Online

DeepSeek Online是一个提供在线访问DeepSeek V3开源大语言模型的平台，用户无需本地部署模型、无需配置运行环境，直接通过浏览器即可调用大语言模型的完整能力。平台支持多场景文本生成、逻辑推理、代码编写、知识问答等多种需求，核心功能包括文本对话交互、代码生成调试、多模态内容处理、推理解题、文档总结整理等，面向学生、开发者、内容创作者、科研人员、职场办公人员等不同群体，适用于日常知识查询、工作内容整理、项目代码开发、学习辅导、创意内容产出等多种使用场景。

#大语言模型#在线AI#DeepSeek V3
对比

更多同类选择见AI模型分类页，按分类整理全部替代方案与两两对比。

热门对比

AGI-Eval评测社区 vs 文心大模型AGI-Eval评测社区 vs DeepSeekAGI-Eval评测社区 vs DeepSeek-R1-Lite-PreviewAGI-Eval评测社区 的替代品

大家还在搜

开发者社区工具

推荐产品

推广
讯飞开放平台讯飞开放平台是科大讯飞推出的智能交互技术服务平台，核心定位为开发者及企业提供AI技术能力与落地解决方案。平台核心功能包括多模态AI能力开放，覆盖语音合成、语音识别、自然语言处理、计算机视觉等上百项技术接口；提供场景化解决方案，适配智能客服、智能办公、智慧教育、智慧车载等多个领域的开发需求；配套完整的开发支持资源，包含开发文档、调试工具、技术社群等服务。目标用户覆盖个人开发者、中小创业团队、大型企业技术部门等，可用于快速搭建语音交互类应用、升级现有产品的AI能力、定制行业专属智能解决方案等场景。小艺小艺是华为推出的云端智能助手网站，集成自然语言处理与深度学习技术，为用户提供多场景智能交互服务。核心功能包含多模态内容创作、多语言翻译、编程辅助、知识查询、生活服务咨询等，适配办公、学习、日常使用等多个场景，面向华为生态用户、职场人士、学生群体、编程爱好者等不同人群，可帮助用户高效处理信息查询、内容产出、问题解答等各类需求，同时与华为多设备生态形成联动，为用户带来统一的智能服务体验。ChatGPTChatGPT是由OpenAI开发的AI对话类工具，搭载GPT-4o、o1等多款模型，具备多模态交互、多场景内容生成、专业领域辅助等核心能力。面向职场人士、学生、创作者、开发者等多类群体，可支持日常办公信息梳理、作业思路拓展、创意内容产出、开发代码调试等多种场景，帮助用户提升信息处理与内容产出的效率，满足不同领域用户的多样化AI使用需求。夸克AI夸克AI是阿里巴巴推出的AI生产力服务平台，基于通义千问大模型打造，融合智能信息处理与多场景工具能力。核心功能包括多模态信息理解与处理、全场景AI创作辅助、跨端云存储联动支持，主要面向学生群体、职场办公人员、内容创作者及日常信息检索用户，可应用于课程资料整理、职场文档产出、音视频内容提炼、创意内容生成等多个场景，帮助用户简化信息处理流程，提升内容生产与资料管理效率。DeepSeek OnlineDeepSeek Online是一个提供在线访问DeepSeek V3开源大语言模型的平台，用户无需本地部署模型、无需配置运行环境，直接通过浏览器即可调用大语言模型的完整能力。平台支持多场景文本生成、逻辑推理、代码编写、知识问答等多种需求，核心功能包括文本对话交互、代码生成调试、多模态内容处理、推理解题、文档总结整理等，面向学生、开发者、内容创作者、科研人员、职场办公人员等不同群体，适用于日常知识查询、工作内容整理、项目代码开发、学习辅导、创意内容产出等多种使用场景。淘宝星辰淘宝星辰是搭载于淘宝平台的大模型服务，核心定位是为电商经营场景和消费场景提供智能化支持。其核心功能包含经营端的智能运营辅助、消费端的个性化推荐匹配、通用场景的知识问答与创作生成，同时具备决策规划及代码相关辅助能力。服务覆盖淘宝平台商家、普通消费者、电商从业者等群体，可满足商家撰写商品文案、分析店铺数据、制定营销方案的需求，也能帮助消费者快速找到适配自身需求的商品、获取生活服务相关建议，还可为相关从业者提供基础的决策参考与技术辅助支持。海绵音乐Sponge Music是字节跳动推出的AI音乐创作平台，核心定位为降低音乐创作门槛，为用户提供便捷的AI音乐生成服务。平台支持灵感创作、定制化创作两大核心创作模式，可生成多风格的中文原创歌曲，同时支持歌词生成、曲风调整、人声配置等辅助功能。目标用户覆盖音乐爱好者、内容创作者、短视频从业者、广告制作人员等群体，可用于短视频配乐创作、个人兴趣音乐制作、商业宣传曲初稿创作、校园活动曲目制作等多种场景，无需用户具备专业的乐理知识即可完成音乐作品生成。WPS AIWPS AI是金山办公推出的智能办公辅助平台，聚焦办公场景下的AI能力落地，核心定位为用户提供全场景的智能办公助力。其核心功能包括AI生成演示文档、表格数据智能分析处理、文档内容智能续写改写与多语言翻译，能够适配不同办公场景下的效率提升需求。平台面向日常需要处理办公文档的职场人群、学生群体、内容创作者等用户，可用于工作汇报PPT制作、调研数据整理分析、文章内容优化调整、跨语言文档翻译等多种场景，帮助用户减少重复性办公操作，聚焦核心内容创作。Apple 智能Apple智能官方介绍页是苹果公司面向公众发布新一代智能系统相关信息的官方资讯页面，核心定位为公开Apple智能的功能特性、适配设备、上线安排等专业内容。核心功能包括呈现Apple智能结合个人使用数据生成个性化内容的机制，展示跨应用协同操作的具体落地场景，说明隐私保护的技术实现路径。目标用户覆盖苹果设备用户、数码行业从业者、科技爱好者，使用场景包括用户提前了解系统升级后的新功能、从业者分析智能系统行业发展趋势、爱好者查看苹果生态的技术迭代方向。腾讯文库腾讯文库是腾讯旗下集成AI创作能力的文档资源共享平台，覆盖教育、考试、职场、生活等多个领域，可提供多类型文档的在线检索、阅读、编辑与分享服务。平台核心功能包含数亿级公开文档资源检索、AI辅助文档创作、多格式文档在线编辑，面向学生、职场人士、教育工作者等群体，可满足作业参考、备考复习、方案撰写、教学备课、资料整理等多场景需求，助力用户提升信息获取与内容创作的效率。