输入关键词搜索 AI 工具、分类,或直接跳转页面
Data Version Control · DVC是面向数据科学与机器学习项目的开源版本控制工具平台,核心定位是为机器学习项目提供轻量级、与Git生态兼容的数据和模型版本管理方案,解决数据体积过大无法存入Git、实验结果难以复现、团队协作数据不一致等问题。核心功能包括数据版本追踪、实验管线管理、结果可复现、模型版本管理与远程存储协作,服务于数据科学家、机器学习工程师、算法研究团队等用户,适合个人开展机器学习实验迭代、团队协作开发AI项目、需要复现过往实验结果以及离线管理大型数据集与模型的场景。
在本地开发环境安装DVC工具,根据操作系统选择对应安装包,完成安装后在已有Git项目根目录执行dvc init初始化DVC配置,初始化完成后提交变更到Git。
标记需要追踪的大型数据文件或数据集目录,执行dvc add命令添加对应文件,DVC会生成.dvc后缀的占位文件,将占位文件提交到Git存储,原始数据保留在本地缓存。
配置远程存储地址,执行dvc remote add命令添加团队共享的远程存储,配置完成后执行dvc push命令将本地缓存的数据推送到远程存储,完成数据上传。
定义项目处理管线,编辑dvc.yaml文件添加数据处理、模型训练等步骤,配置各步骤的输入输出依赖,保存后执行dvc repro运行管线,生成对应的输出结果与实验记录。
协作者获取项目代码后,执行dvc pull命令即可从远程存储拉取对应版本的数据与模型,再执行dvc repro即可复现完整实验,得到对应结果。
看完教程,直接上手试试
访问 Data Version Control · DVC 官网