视频动作替换

TANGO Model

pantomatrix.github.io

TANGO Model 是由东京大学与CyberAgent AI Lab联合开发的AI音频驱动手势生成项目，核心定位是实现语音信号到自然人物手势动作的精准转换与视频重现。其核心功能包括基于层次化音频-运动嵌入的语音特征提取、扩散插值动作生成、已有视频的手势动作替换适配，主要面向视频创作者、虚拟现实内容开发者、数字人制作团队等用户群体，可应用于短视频手势生成、虚拟主播动作驱动、AR交互角色动作制作、影视预演动作参考等多个场景，帮助用户降低手动K帧制作手势动作的成本，提升数字内容中人物动作的自然度与匹配度。