language:

• en license: mit library_name: transformers datasets:
• fnlp/AnyInstruct
• fixie-ai/boolq-audio
• fixie-ai/soda-audio
• speechcolab/gigaspeech pipeline_tag: audio-text-to-text

Ultravox 模型卡

Ultravox 是一个基于预训练模型 Llama3-8B-Instruct 和 Whisper-small 构建的多模态语音大语言模型。
更多信息及 GitHub 仓库请访问 https://ultravox.ai。

模型详情

模型描述

Ultravox 是一个多模态模型，能够同时接收语音和文本输入（例如系统文本提示和用户语音消息）。
模型输入以包含特殊伪标记 <|audio|> 的文本提示形式给出，模型处理器会将该标记替换为输入音频生成的嵌入向量。
使用融合后的嵌入作为输入，模型将像常规模型一样生成文本输出。

在 Ultravox 的未来版本中，我们计划扩展标记词汇表以支持生成语义和声学音频标记，这些标记可输入声码器生成语音输出。
当前版本尚未应用偏好调优。

• 开发团队: Fixie.ai
• 许可证: MIT

模型来源

• 代码仓库: https://ultravox.ai
• 演示: 参见仓库

使用方式

可将本模型视为具备听觉和理解语音能力的语言模型。适用于语音代理、语音转语音翻译、语音分析等场景。

使用方法示例：

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_2', trust_remote_code=True)

path = "<音频文件路径>"  # 需替换为实际音频路径
audio, sr = librosa.load(path, sr=16000)

turns = [
  {
    "role": "system",
    "content": "你是一个友善且乐于助人的角色，喜欢回答人们的问题。"
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

训练详情

模型采用预训练的 Llama3-8B-Instruct 作为主干网络，并结合 Whisper-small 的编码器部分。

训练分为两个阶段：

1. 第一阶段冻结主干网络，仅训练多模态投影器
2. 第二阶段使用LoRA技术对Llama3进行微调

训练数据

训练数据集包含：

• 语音识别数据（Gigaspeech）
• 指令遵循和问答数据（AnyInstruct及扩展版BoolQ）
• 对话数据（SODA数据集最后两轮对话的替代生成版本）

训练流程

采用有监督的语音到文本微调方法。详见 Ultravox仓库中的训练代码。

训练超参数

• 训练模式: BF16混合精度训练
• 硬件配置: 8块A100-40GB GPU
• LLM LoRA秩: 64

速度与规模

当前版本在A100-40GB GPU上的性能表现：

• 首令牌生成时间(TTFT): 约200毫秒
• 令牌生成速度: 每秒50-100个令牌

实时性能对比可参考 TheFastest.ai音频榜单。

评估

测试数据与指标

测试数据

[待补充]

评估维度

[待补充]

评估指标

[待补充]

评估结果

[待补充]

总结