输入关键词搜索 AI 工具、分类,或直接跳转页面
Go with the Flow 是由 Netflix Eyeline Studios 等机构研究人员开发的视频生成技术开源项目,核心是通过扭曲噪声替代传统高斯噪声,实现视频扩散模型的运动模式可控生成。项目支持图像到视频、文本到视频两类主流生成场景,无需修改原始扩散模型架构即可接入,不会额外增加推理阶段计算成本,可对视频内物体位移、相机运动轨迹实现精确调控。适合AI视频生成领域的研究人员、内容创作团队、技术开发人员使用,可应用于影视内容预演、短视频内容制作、AI创意实验、学术研究复现等多种场景。
访问项目官网页面,找到代码仓库跳转入口,将项目源码克隆到本地设备,按照文档说明配置Python运行环境,安装PyTorch、Diffusers等必需的依赖库,确保环境版本与项目要求匹配。
准备需要使用的基础视频扩散模型权重,可以选择平台推荐的开源预训练模型,也可以使用自己微调后的专属模型权重,将权重文件放置到项目指定的目录下,完成模型加载路径的配置。
根据生成需求选择对应功能,若使用图像转视频功能则上传准备好的静态起始图像,若使用文本转视频功能则输入对应的文本提示词,同时设置视频的时长、分辨率等基础参数。
配置运动控制参数,可以选择预设的运动模板,也可以自定义运动向量场来指定物体、相机的运动轨迹,系统会自动根据参数生成对应的扭曲噪声文件,确认参数无误后提交生成任务。
等待模型推理完成后,在输出目录查看生成的视频文件,若运动效果不符合预期可以调整运动参数重新生成,也可以导出对应的运动控制配置文件,用于后续同类型视频的批量生成。
看完教程,直接上手试试
访问 Go with the Flow 官网