license: mit pipeline_tag: image-to-video

简介

我们提出JoyVASA，一种基于扩散模型的音频驱动面部动画生成方法，用于生成面部动态和头部运动。具体而言，在第一阶段，我们引入了一种解耦的面部表征框架，将动态面部表情与静态3D面部表征分离。这种解耦使得系统能够通过将任意静态3D面部表征与动态运动序列相结合，生成更长的视频。接着在第二阶段，训练一个扩散变换器直接从音频线索生成运动序列，且不受角色身份影响。最后，第一阶段训练好的生成器以3D面部表征和生成的运动序列作为输入，渲染出高质量的动画。凭借解耦的面部表征和与身份无关的运动生成过程，JoyVASA不仅能处理人物肖像，还能无缝为动物面部生成动画。该模型在中文私有数据集和英文公开数据集的混合数据上进行训练，支持多语言。实验结果验证了我们方法的有效性。未来工作将聚焦于提升实时性能并优化表情控制，进一步拓展该框架在肖像动画中的应用。

使用方式

代码详见 https://github.com/jdh-algo/JoyVASA。

引用

@misc{cao2024joyvasaportraitanimalimage,
      title={JoyVASA: 基于扩散模型的音频驱动面部动态和头部运动生成实现肖像与动物图像动画}, 
      author={曹旭阳 and 王国鑫 and 施盛 and 赵军 and 姚洋 and 费锦涛 and 高敏瑜},
      year={2024},
      eprint={2411.09209},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2411.09209}, 
}