🚀 EMOVA-Qwen-2.5-7B-HF

EMOVA（情感全模态语音助手）是一种新颖的端到端全模态大语言模型，无需依赖外部模型，就能实现看、听、说的功能。它能根据文本、视觉和语音等全模态输入，结合语音解码器和风格编码器，生成带有生动情感控制的文本和语音响应。该模型具备通用的全模态理解和生成能力，在高级视觉语言理解、情感语音对话以及带有结构数据理解的语音对话方面表现出色。

🚀 快速开始

本仓库包含以HuggingFace格式组织的 EMOVA-Qwen2.5-7B 检查点，因此可以直接使用 transformers Auto API 进行加载。

from transformers import AutoModel, AutoProcessor
from PIL import Image
import torch

### 如果你想使用昇腾NPUs，请取消注释
# import torch_npu
# from torch_npu.contrib import transfer_to_npu

# 准备模型和处理器
model = AutoModel.from_pretrained(
    "Emova-ollm/emova-qwen-2-5-7b-hf",
    torch_dtype=torch.bfloat16,
    attn_implementation='flash_attention_2', # 或者对于昇腾NPUs使用 'sdpa'
    low_cpu_mem_usage=True,
    trust_remote_code=True).eval().cuda()
processor = AutoProcessor.from_pretrained("Emova-ollm/emova-qwen-2-5-7b-hf", trust_remote_code=True)

# 仅在语音对话时需要
# 注意，要使用语音输入/输出进行推理，**emova_speech_tokenizer** 仍然是必要的依赖项 (https://huggingface.co/Emova-ollm/emova_speech_tokenizer_hf#install)。
speeck_tokenizer = AutoModel.from_pretrained("Emova-ollm/emova_speech_tokenizer_hf", torch_dtype=torch.float32, trust_remote_code=True).eval().cuda()
processor.set_speech_tokenizer(speeck_tokenizer)

# 示例1：图像 - 文本
inputs = dict(
    text=[
        {"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]},
        {"role": "user", "content": [{"type": "image"}, {"type": "text", "text": "What's shown in this image?"}]},
        {"role": "assistant", "content": [{"type": "text", "text": "This image shows a red stop sign."}]},
        {"role": "user", "content": [{"type": "text", "text": "Describe the image in more details."}]},
    ],
    images=Image.open('path/to/image')
)

# 示例2：文本 - 音频
inputs = dict(
    text=[{"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]}],
    audios='path/to/audio'
)

# 示例3：图像 - 文本 - 音频
inputs = dict(
    text=[{"role": "system", "content": [{"type": "text", "text": "You are a helpful assistant."}]}],
    images=Image.open('path/to/image'),
    audios='path/to/audio'
)

# 运行处理器
has_speech = 'audios' in inputs.keys()
inputs = processor(**inputs, return_tensors="pt")
inputs = inputs.to(model.device)

# 准备生成参数
gen_kwargs = {"max_new_tokens": 4096, "do_sample": False} # 必要时添加
speech_kwargs = {"speaker": "female", "output_wav_prefix": "output"} if has_speech else {}

# 运行生成
# 对于语音输出，我们将返回保存的wav文件路径 (参见 output_wav_prefix)
with torch.no_grad():
    outputs = model.generate(**inputs, **gen_kwargs)
    outputs = outputs[:, inputs['input_ids'].shape[1]:]
    print(processor.batch_decode(outputs, skip_special_tokens=True, **speech_kwargs))

✨ 主要特性

• 先进的全模态性能：EMOVA在视觉语言和语音基准测试中同时取得了最先进的可比结果。其性能最佳的模型 EMOVA-72B 甚至超越了包括GPT - 4o和Gemini Pro 1.5在内的商业模型。
• 情感语音对话：采用了语义 - 声学解耦的语音分词器和轻量级的风格控制模块，实现了无缝的全模态对齐和多样化的语音风格可控性。EMOVA支持具有 24种语音风格控制（即2个说话人、3种音高和4种情感）的 双语（中文和英文） 语音对话。
• 多样化的配置：开源了3种配置，即 EMOVA - 3B/7B/72B，以支持不同计算预算下的全模态使用。你可以查看 模型库 ，为你的计算设备找到最合适的模型！

📚 详细文档

模型信息

模型性能

模型索引

• 名称：emova - qwen - 2 - 5 - 7b - hf
• 结果：
  • 任务类型：多模态
    • 数据集：AI2D，类型：ai2d，指标：准确率81.7%
    • 数据集：ChartQA，类型：chartqa，指标：准确率84.9%
    • 数据集：DocVQA，类型：docvqa，指标：准确率94.2%
    • 数据集：InfoVQA，类型：infovqa，指标：准确率75.1%
    • 数据集：MathVerse，类型：mathverse，指标：准确率40.9%
    • 数据集：MathVista，类型：mathvista，指标：准确率65.5%
    • 数据集：MMBench，类型：mmbench，指标：准确率83%
    • 数据集：MME，类型：mme，指标：分数2317
    • 数据集：MMVet，类型：mmvet，指标：准确率59.4%
    • 数据集：OCRBench，类型：ocrbench，指标：准确率814
    • 数据集：RealWorldQA，类型：realworldqa，指标：准确率67.5%
    • 数据集：Seed - Bench - Image，类型：seed - bench - image，指标：准确率75.5%
    • 数据集：Science - QA，类型：science - qa，指标：准确率96.4%
    • 数据集：TextVQA，类型：textvqa，指标：准确率78%
  • 任务名称：自动语音识别，类型：automatic - speech - recognition
    • 数据集：LibriSpeech (clean)，类型：librispeech_asr，配置：clean，分割：test，参数：语言为英文，指标：测试字错率4.1%

📄 许可证

本项目采用 apache - 2.0 许可证。

📖 引用

@article{chen2024emova,
  title={Emova: Empowering language models to see, hear and speak with vivid emotions},
  author={Chen, Kai and Gou, Yunhao and Huang, Runhui and Liu, Zhili and Tan, Daxin and Xu, Jing and Wang, Chunwei and Zhu, Yi and Zeng, Yihan and Yang, Kuo and others},
  journal={arXiv preprint arXiv:2409.18042},
  year={2024}
}

项目链接