多模态数据集
mmstar-benchmark.github.io
MMStar是面向大型视觉语言模型多模态能力评估的基准测试集平台，核心定位是为多模态模型研发领域提供标准化、低偏差的能力评测方案。平台包含1500个经过人工筛选的视觉语言样本，覆盖6类核心能力与18个细分评估维度，同时提供传统准确率之外的两套新增评估指标，可帮助研究者识别模型数据泄露风险、量化多模态训练带来的实际性能增益。其目标用户涵盖AI领域研究人员、多模态模型开发团队、高校人工智能相关专业师生，可应用于模型迭代效果验证、学术研究实验评测、模型公开能力对比等多种场景。
egolife-ai.github.io
EgoLife是聚焦长期多模态日常生活场景的AI研究项目平台，核心定位是为长期上下文理解、多视角行为分析等AI方向的研究提供真实数据集与技术框架支撑。平台收录六名志愿者一周共享生活的50小时标注数据，涵盖日常起居、协作办公、休闲社交等多类真实场景，内置EgoRAG检索增强生成框架，支持多模态数据的长期关联查询与上下文推理。目标用户包括AI领域研究人员、计算机视觉方向开发者、人机交互研究学者，可用于日常行为预测模型训练、具身智能系统开发、多模态大模型性能测试等多种研究场景。
ego-exo4d-data.org
Ego-Exo4D是专注于人类技能活动研究的多模态多视角视频数据集平台，核心定位为计算机视觉与多模态感知领域的研究提供标准化的训练与测试数据支撑。平台核心功能包含多视角同步视频数据供给、多模态传感器原始数据开放、配套自然语言标注资源下载，同时设置了对应基准挑战赛道。目标用户覆盖计算机视觉研究人员、多模态感知算法开发人员、人机交互领域学者、动作识别方向学生等群体，可应用于动作理解模型训练、多视角感知算法验证、人机交互系统研发、日常活动语义建模等多种学术与技术开发场景。
blog.salesforceairesearch.com
MINT-1T是Salesforce AI研究院推出的开源多模态数据集项目官网，核心定位是为多模态大模型训练提供大规模、高质量的多源图文训练数据。网站公开了数据集的规模参数、构建流程、过滤标准与合规说明，支持开发者下载使用规范、获取数据访问权限，还提供了基于该数据集训练的模型测试结果参考。目标用户包括AI领域的科研人员、大模型研发工程师、多模态算法研究者、高校计算机相关专业师生以及AI创业团队的技术人员，可应用于多模态大模型预训练、图文跨模态检索算法优化、多模态理解能力 benchmark 构建、低资源多模态任务迁移学习等场景。
junzhan2000.github.io
AnyGPT是一款面向多模态交互需求的统一大语言模型工具站，核心定位是通过离散表示技术实现语音、文本、图像、音乐等多模态的统一处理，无需改动现有大语言模型架构与训练范式即可完成稳定训练。核心功能包含多模态任意组合交互、多模态指令数据集支持、新模态无缝接入能力。目标用户覆盖AI研究人员、多模态应用开发者、内容创作者、高校计算机专业师生等群体，可用于多模态对话系统开发、跨模态内容生成、多模态模型学术研究、多模态交互产品原型测试等场景，为不同模态的统一处理提供可落地的技术方案。