库名称: transformers 标签:

• 语音
• 分词 许可证: apache-2.0 语言:
• 英文
• 中文 基础模型:
• Emova-ollm/emova_speech_tokenizer

EMOVA语音分词器HF版

模型概述

本仓库包含用于训练EMOVA系列模型的官方语音分词器。采用语义-声学解耦设计，不仅能实现视觉、语言和语音模态间的无缝全模态对齐，还支持包括说话人、情感和音高在内的灵活语音风格控制。其主要优势包括：

• 离散语音分词器：包含基于SPIRAL的**语音转单元(S2U)分词器捕捉输入语音的音素和音调信息，通过有限标量量化器(FSQ)离散化为语音单元，以及基于VITS的单元转语音(U2S)**解码器从语音单元重建语音信号

• 语义-声学解耦：为使语音单元与LLM的高语义嵌入空间无缝对齐，我们选择解耦输入语音的语义内容和声学风格，仅使用前者生成语音标记

• 双语分词：支持使用相同语音码本对中文和英文语音进行分词

• 灵活语音风格控制：得益于语义-声学解耦设计，支持24种语音风格控制(即2种说话人×3种音高×4种情感组合)。详见使用说明

安装指南

克隆本仓库并使用conda创建EMOVA虚拟环境。代码已在NVIDIA A800/H20 GPU和昇腾910B3 NPU服务器验证，其他设备可能也适用。

1. 初始化conda环境：

   git clone https://github.com/emova-ollm/EMOVA_speech_tokenizer.git
   conda create -n emova python=3.10 -y
   conda activate emova
   

2. 安装依赖包(GPU与NPU安装指令不同)：

   # 如有需要先升级pip和setuptools
   pip install -U pip setuptools
   
   cd emova_speech_tokenizer
   pip install -e . # 适用于NVIDIA GPU(如A800/H20)
   pip install -e .[npu] # 或适用于昇腾NPU(如910B3)
   

使用说明

[!注意]
使用前请确保完成安装指南！

通过🤗 HuggingFace transformers API可轻松部署EMOVA语音分词器：

import random
from transformers import AutoModel
import torch

### 如需使用昇腾NPU请取消注释
# import torch_npu
# from torch_npu.contrib import transfer_to_npu

# 加载预训练模型
model = AutoModel.from_pretrained("Emova-ollm/emova_speech_tokenizer_hf", torch_dtype=torch.float32, trust_remote_code=True).eval().cuda()

# S2U编码
wav_file = "./examples/s2u/example.wav"
speech_unit = model.encode(wav_file)
print(speech_unit)

# U2S解码
emotion = random.choice(['愤怒', '开心', '中性', '悲伤'])
speed = random.choice(['正常', '快速', '慢速'])
pitch = random.choice(['正常', '高音', '低音'])
gender = random.choice(['女性', '男性'])
condition = f'gender-{gender}_emotion-{emotion}_speed-{speed}_pitch-{pitch}'

output_wav_file = f'./examples/u2s/{condition}_output.wav'
model.decode(speech_unit, condition=condition, output_wav_file=output_wav_file)

引用声明

如果我们的模型/代码/论文对您有帮助，请考虑引用论文并为我们点赞！

@article{chen2024emova,
  title={Emova: 赋予语言模型视听能力和情感化语音},
  author={陈凯 and 苟云皓 and 黄润辉 and 刘志立 and 谭达新 and 徐静 and 王春伟 and 朱毅 and 曾艺涵 and 杨阔 and 等},
  journal={arXiv预印本 arXiv:2409.18042},
  year={2024}
}