Ultravox模型卡

支持语言

• 阿拉伯语(ar)
• 白俄罗斯语(be)
• 保加利亚语(bg)
• 孟加拉语(bn)
• 捷克语(cs)
• 威尔士语(cy)
• 丹麦语(da)
• 德语(de)
• 希腊语(el)
• 英语(en)
• 西班牙语(es)
• 爱沙尼亚语(et)
• 波斯语(fa)
• 芬兰语(fi)
• 法语(fr)
• 加利西亚语(gl)
• 印地语(hi)
• 匈牙利语(hu)
• 意大利语(it)
• 日语(ja)
• 格鲁吉亚语(ka)
• 立陶宛语(lt)
• 拉脱维亚语(lv)
• 马其顿语(mk)
• 马拉地语(mr)
• 荷兰语(nl)
• 波兰语(pl)
• 葡萄牙语(pt)
• 罗马尼亚语(ro)
• 俄语(ru)
• 斯洛伐克语(sk)
• 斯洛文尼亚语(sl)
• 塞尔维亚语(sr)
• 瑞典语(sv)
• 斯瓦希里语(sw)
• 泰米尔语(ta)
• 泰语(th)
• 土耳其语(tr)
• 乌克兰语(uk)
• 乌尔都语(ur)
• 越南语(vi)
• 中文(zh)

许可协议

MIT许可证

库名称

transformers

评估指标

BLEU分数

管道标签

音频文本转文本

Ultravox模型说明

Ultravox是基于预训练模型Llama3.3-70B-Instruct和whisper-large-v3-turbo构建的多模态语音大语言模型。

更多信息请访问GitHub仓库：https://ultravox.ai

模型详情

模型描述

Ultravox是多模态模型，可同时接收语音和文本输入（例如系统文本提示和用户语音消息）。输入通过包含特殊伪标记<|audio|>的文本提示实现，模型处理器会将该标记替换为输入音频生成的嵌入向量。使用融合后的嵌入作为输入，模型将像常规模型一样生成文本输出。

在未来的Ultravox版本中，我们计划扩展标记词汇表以支持生成语义和声学音频标记，这些标记可输入声码器生成语音输出。当前版本未应用偏好调优。

• 开发团队：Fixie.ai
• 许可证：MIT

模型来源

• 代码仓库：https://ultravox.ai
• 演示：参见代码仓库

使用方法

该模型可视为具备语音理解能力的LLM，可用作语音代理，也可用于语音翻译、语音分析等场景。

使用示例：

# 安装依赖：pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_5-llama-3_3-70b', trust_remote_code=True)

path = "<音频文件路径>"  # 需替换实际路径
audio, sr = librosa.load(path, sr=16000)

turns = [
  {
    "role": "system",
    "content": "你是一个友善乐于助人的角色，喜欢解答人们的问题"
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

训练详情

模型使用预训练的Llama3.3-70B-Instruct主干网络和whisper-large-v3-turbo编码器部分。

训练内容包括：

• 多模态适配器训练
• Whisper编码器微调
• Llama模型保持冻结

采用基于知识蒸馏的损失函数，使Ultravox匹配文本Llama主干的逻辑输出。

训练数据

训练数据集包含：

• ASR数据集
• 通过Llama 3.1 8B生成的扩展文本
• 语音翻译数据集（可提升翻译评估效果）

训练流程

通过知识蒸馏进行监督式语音指令微调。详见Ultravox训练代码。

训练超参数

• 训练模式：BF16混合精度训练
• 硬件配置：8×H100 GPU

性能指标

当前版本在A100-40GB GPU上的表现：

• 首令牌延迟(TTFT)：约150ms
• 令牌生成速度：50-100 tokens/秒

实时性能对比可查看TheFastest.ai音频榜单

评估结果