🚀 Ultravox模型卡

Ultravox是一个多模态语音大语言模型，它围绕预训练大语言模型（如Llama、Gemma、Qwen等）和语音编码器（whisper-large-v3-turbo）构建而成。

请访问https://ultravox.ai 查看GitHub仓库和更多信息。

🚀 快速开始

将该模型视为一个能够聆听和理解语音的大语言模型。因此，它可以用作语音代理，也可用于语音到语音的翻译、语音音频分析等。

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_6-llama-3_1-8b', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

✨ 主要特性

• 多模态输入：可以同时处理语音和文本输入。
• 语音理解性能优化：在v0.6系列中，在扩展的印地语语音数据上进行训练，显著提高了印地语的语音理解性能。
• 噪声鲁棒性增强：在噪声数据集上进行训练，能够更好地处理嘈杂音频，并在输入音频太嘈杂或不包含清晰语音时输出特殊字符串((noise))。
• 未来规划：计划扩展词表，支持生成语义和声学音频令牌，以实现语音输出。

📦 安装指南

文档未提及安装步骤，故跳过。

💻 使用示例

基础用法

# pip install transformers peft librosa

import transformers
import numpy as np
import librosa

pipe = transformers.pipeline(model='fixie-ai/ultravox-v0_6-llama-3_1-8b', trust_remote_code=True)

path = "<path-to-input-audio>"  # TODO: pass the audio here
audio, sr = librosa.load(path, sr=16000)


turns = [
  {
    "role": "system",
    "content": "You are a friendly and helpful character. You love to answer questions for people."
  },
]
pipe({'audio': audio, 'turns': turns, 'sampling_rate': sr}, max_new_tokens=30)

高级用法

文档未提及高级用法代码示例，故跳过。

📚 详细文档

模型详情

模型描述

Ultravox是一个多模态模型，它可以同时将语音和文本作为输入（例如，文本系统提示和语音用户消息）。模型的输入是一个带有特殊<|audio|>伪令牌的文本提示，模型处理器会用从输入音频中提取的嵌入替换这个神奇的令牌。以合并后的嵌入作为输入，模型将像往常一样生成输出文本。

在v0.6系列中，Ultravox模型在扩展的印地语语音数据上进行训练，这使得印地语的语音理解性能显著提高，但其他语言的性能有轻微下降。此外，v0.6模型还在噪声数据集上进行训练，以提高噪声鲁棒性，并在输入音频太嘈杂或不包含清晰语音时能够输出特殊字符串((noise))。

在Ultravox的未来版本中，我们计划扩展词表，以支持生成语义和声学音频令牌，然后将其输入到声码器中以产生语音输出。此版本的模型未应用偏好调整。

• 开发者： Fixie.ai
• 许可证： MIT

模型来源

• 仓库： https://ultravox.ai
• 演示： 请查看仓库

使用说明

将该模型视为一个能够聆听和理解语音的大语言模型。因此，它可以用作语音代理，也可用于语音到语音的翻译、语音音频分析等。

训练详情

模型架构

该模型使用预训练的大语言模型（如Llama、Gemma、Qwen等）作为主干，并结合whisper-large-v3-turbo的编码器部分。多模态适配器进行训练，Whisper编码器进行微调，而大语言模型保持冻结。

训练数据

训练数据集是自动语音识别（ASR）数据集、由Llama 3.1 8B生成的延续数据、语音翻译数据集和噪声数据集的混合。

训练过程

通过知识蒸馏进行有监督的语音指令微调。更多信息，请参阅Ultravox仓库中的训练代码。

训练超参数

• 训练机制： BF16混合精度训练
• 使用的硬件： 8x H100 GPU

速度、大小和时间

当前版本的Ultravox在处理音频内容时，使用基于文本的大语言模型（Llama、Gemma或Qwen）作为主干，在A100 - 40GB GPU上的首次令牌生成时间（TTFT）约为150ms，每秒生成的令牌速率约为50 - 100。

请查看TheFastest.ai的音频标签，了解每日基准测试和与其他现有模型的比较。

评估

评估在covost2（语音翻译，以BLEU衡量）、fleurs和ultravox_calls（语音识别，以WER衡量）、big bench audio（音频推理，以准确率衡量）以及musan和ultravox_unintelligible（噪声/难以理解的语音检测，以召回率衡量）上进行。

🔧 技术细节

文档未提及技术实现细节，故跳过。

📄 许可证

本模型采用MIT许可证。