Diva Llama 3 V0 8b

由 WillHeld 开发

DiVA Llama 3是一个端到端的语音助手模型，能够处理语音和文本输入，采用蒸馏损失进行训练。

文本生成音频

Transformers

#端到端语音助手 #多模态输入 #蒸馏训练

下载量 2,596

发布时间 : 6/20/2024

模型介绍

内容详情

替代品

模型简介

该模型是一个结合语音和文本处理能力的端到端语音助手，基于Llama 3架构开发，能够理解并响应语音指令。

模型特点

端到端语音助手

能够直接处理语音输入，无需单独语音识别模块

蒸馏训练

采用蒸馏损失进行训练，提高模型效率

多模态输入

同时支持语音和文本输入

模型能力

语音理解

文本生成

多轮对话

风格化响应（如海盗风格、纽约人风格）

使用案例

智能助手

语音交互助手

通过语音指令与设备交互

能够理解并响应自然语音指令

多语言应用

多语言语音助手

支持不同语言的语音输入和响应

许可证：MPL-2.0 数据集：

mozilla-foundation/common_voice_17_0 基础模型：
meta-llama/Llama-3.1-8B-Instruct

DiVA Llama 3 模型卡

这是一个端到端的语音助手模型，能够处理语音和文本输入。该模型采用蒸馏损失进行训练，更多细节请参阅预印本。

您可以在diva-audio.github.io查看模型的实际表现，或在Weights&Biases上查看完整的训练日志。

引用

BibTeX:

@misc{DiVA,
      title={{D}istilling an {E}nd-to-{E}nd {V}oice {A}ssistant {W}ithout {I}nstruction {T}raining {D}ata}, 
      author={William Held and Ella Li and Michael Ryan and Weiyan Shi and Yanzhe Zhang and Diyi Yang},
      year={2024},
      eprint={2410.02678},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2410.02678}, 
}

推理示例

from transformers import AutoModel
import librosa
import wget

filename = wget.download(
    "https://github.com/ffaisal93/SD-QA/raw/refs/heads/master/dev/eng/irl/wav_eng/-1008642825401516622.wav"
)

speech_data, _ = librosa.load(filename, sr=16_000)

model = AutoModel.from_pretrained("WillHeld/DiVA-llama-3-v0-8b", trust_remote_code=True)

print(model.generate([speech_data]))
print(model.generate([speech_data], ["像海盗一样简短回答"]))

filename = wget.download(
    "https://github.com/ffaisal93/SD-QA/raw/refs/heads/master/dev/eng/irl/wav_eng/-2426554427049983479.wav"
)

speech_data2, _ = librosa.load(filename, sr=16_000)

print(
    model.generate(
        [speech_data, speech_data2],
        ["像海盗一样简短回答", "像纽约人一样简短回答"],
    )
)