许可证: mit 标签:

• 普通话
• 音频驱动人脸动画
• 生成式人工智能 任务类型: 图像转视频

JoyHallo: 中文数字人模型

📖 简介

在音频驱动视频生成领域，创建普通话视频面临重大挑战。收集全面的普通话数据集十分困难，且相较于英语，普通话复杂的唇部动作进一步增加了模型训练难度。本研究收集了京东健康国际员工29小时的普通话演讲视频，构建了jdh-Hallo数据集。该数据集涵盖不同年龄段和说话风格，包含日常对话和专业医疗话题。为使JoyHallo模型适配普通话，我们采用中文wav2vec2模型进行音频特征嵌入，并提出了半解耦结构来捕捉唇部、表情和姿态特征间的关联关系。这种集成不仅提高了信息利用效率，还将推理速度提升了14.3%。值得注意的是，JoyHallo仍保持出色的英语视频生成能力，展现出卓越的跨语言生成性能。