🚀 Ultravox模型卡片

Ultravox是一个多模态语音大语言模型（LLM），它基于预训练的Llama3.1 - 70B - Instruct和Whisper - medium骨干架构构建。

请访问https://ultravox.ai 查看GitHub仓库和更多信息。

🚀 快速开始

将该模型视为一个还能“听”懂语音的大语言模型（LLM）。因此，它可以用作语音代理，还能进行语音到语音的翻译、语音音频分析等。

要使用该模型，请尝试以下操作：

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_4', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

✨ 主要特性

• 多模态输入：可以同时接受语音和文本作为输入，例如文本系统提示和语音用户消息。
• 未来功能扩展：计划在未来版本中扩展词表，以支持生成语义和声学音频标记，进而通过声码器产生语音输出。

📚 详细文档

模型详情

模型描述

Ultravox是一个多模态模型，能够同时处理语音和文本输入（例如，文本系统提示和语音用户消息）。模型的输入是带有特殊<|audio|>伪标记的文本提示，模型处理器会用从输入音频中提取的嵌入向量替换这个特殊标记。以合并后的嵌入向量作为输入，模型将像往常一样生成输出文本。

在Ultravox的未来版本中，我们计划扩展词表，以支持生成语义和声学音频标记，然后将这些标记输入声码器以产生语音输出。此版本的模型尚未进行偏好调优。

• 开发者：Fixie.ai
• 许可证：MIT

模型来源

• 仓库：https://ultravox.ai
• 演示：请查看仓库

训练详情

该模型使用预训练的Llama3.1 - 70B - Instruct骨干架构以及Whisper - medium的编码器部分。

仅对多模态适配器进行训练，而Whisper编码器和Llama保持冻结状态。

我们使用知识蒸馏损失，让Ultravox尝试匹配基于文本的Llama骨干架构的对数几率。

训练数据

训练数据集是由多个自动语音识别（ASR）数据集混合而成，并通过添加由Llama 3.1 70B生成的“延续内容”进行扩展。

训练过程

有监督的语音到音频微调。更多信息，请参阅Ultravox仓库中的训练代码。

训练超参数

• 训练机制：BF16混合精度训练
• 使用的硬件：8块H100 GPU

速度、大小、时间

当前版本的Ultravox在处理音频内容时，使用Llama 3.1 70B骨干架构和4块H100 SXM GPU，首次输出标记时间（TTFT）约为400毫秒，每秒输出标记速率约为50 - 100。

请访问TheFastest.ai的音频页面，查看每日基准测试以及与其他现有模型的比较。

评估

其他信息

📄 许可证

本模型使用MIT许可证。