输入关键词搜索 AI 工具、分类,或直接跳转页面
GenXD是一个专注于3D与4D场景生成的开源研究框架,核心面向计算机视觉领域的研究者、开发人员及相关方向学生,旨在解决当前4D生成领域数据稀缺、运动与相机参数耦合的行业问题。核心功能包含专业4D数据策划流程,可从普通视频中提取相机姿态与物体运动强度参数;自研CamVid-30K大规模现实世界4D场景数据集,覆盖多类真实场景样本;多视图-时间模块,可实现相机与物体运动参数的分离学习,兼容3D与4D两类数据训练。目标用户覆盖高校计算机视觉实验室研究员、3D内容开发工程师、元宇宙场景搭建人员、AI生成算法开发者、数字孪生项目从业者、图形学相关专业学生等。使用场景包括学术研究中4D生成算法的基准测试、元宇宙项目中动态场景的批量生成、数字孪生项目的真实场景复刻、3D内容创作中的多视图一致素材生成等。
访问GenXD官方GitHub Pages站点,在文档导航栏找到快速开始板块,按照页面指引下载框架的开源代码包与所需的依赖环境,完成本地环境部署。
若需使用公开数据集,可在数据集板块找到CamVid-30K的下载入口,按照页面说明申请下载权限,获取标注完成的4D场景数据集用于训练或测试。
进行3D或4D生成任务前,先在配置文件中设置生成类型、条件参数、输出格式等信息,若使用自定义输入数据,需按照文档要求将输入素材处理为指定格式。
运行框架的生成脚本,等待模型推理完成后,可在输出目录查看生成的3D视图序列或4D动态视频,若对结果不满意可调整条件参数重新生成。
若需要对生成结果进行评估,可调用框架内置的评估工具,选择对应的评估数据集与指标,自动生成量化评估报告,用于算法效果验证。
看完教程,直接上手试试
访问 GenXD 官网