模型卡片：Ultravox

Ultravox是一款基于预训练模型Llama3.1-8B-Instruct和whisper-large-v3-turbo构建的多模态语音大语言模型。

更多信息请访问GitHub仓库：https://ultravox.ai

模型详情

模型描述

Ultravox是一款多模态模型，能够同时接收语音和文本输入（例如系统文本提示和用户语音消息）。模型输入采用包含特殊伪标记<|audio|>的文本提示，模型处理器会将该标记替换为输入音频生成的嵌入向量。利用融合后的嵌入向量作为输入，模型将像常规情况一样生成文本输出。

在未来的Ultravox版本中，我们计划扩展标记词汇表以支持生成语义和声学音频标记，这些标记可输入至声码器以产生语音输出。当前版本模型未进行偏好调优。

• 开发团队: Fixie.ai
• 许可证: MIT

模型来源

• 代码库: https://ultravox.ai
• 演示: 参见代码库

使用方式

可将本模型视为具备听觉和理解语音能力的LLM。因此，它可用作语音代理，也可用于语音到语音翻译、口语音频分析等任务。

使用方法示例：

# 安装依赖：pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_5-llama-3_1-8b', trust_remote_code=True)

path = "<音频文件路径>"  # 需替换为实际音频路径
audio, sr = librosa.load(path, sr=16000)

turns = [
  {
    "role": "system",
    "content": "你是一个友善且乐于助人的角色，喜欢回答人们的问题。"
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

训练详情

模型采用预训练的Llama3.1-8B-Instruct主干网络和whisper-large-v3-turbo的编码器部分。

训练过程中，多模态适配器被训练，Whisper编码器进行微调，而Llama模型保持冻结状态。我们采用知识蒸馏损失函数，使Ultravox尽可能匹配基于文本的Llama主干网络的逻辑输出。

训练数据

训练数据集混合了ASR数据集（通过Llama 3.1 8B生成扩展内容）和语音翻译数据集，后者在翻译评估中带来适度提升。

训练流程

通过知识蒸馏进行有监督的语音指令微调。更多信息参见Ultravox代码库中的训练代码。

训练超参数

• 训练模式: BF16混合精度训练
• 硬件配置: 8块H100 GPU

速度、规模与耗时

当前版本Ultravox在处理音频内容时，使用A100-40GB显卡的首令牌生成时间(TTFT)约为150毫秒，令牌生成速度为每秒50-100个（基于Llama 3.1 8B主干网络）。

实时性能对比可查看TheFastest.ai音频榜单。

评估结果