许可证：Apache-2.0
语言：

• 英文
  标签：
• 音频文本转换
• 聊天
• 音频
• GGUF

OmniAudio-2.6B

OmniAudio是全球最快、最高效的端侧部署音频语言模型——这是一款2.6B参数的多模态模型，可同时处理文本和音频输入。它整合了三个组件：Gemma-2-2b、Whisper turbo和定制投影模块，能够在边缘设备上直接实现安全、响应迅速的音频文本处理。

与传统将ASR和LLM模型串联的方案不同，OmniAudio-2.6B将双重能力统一在单一高效架构中，实现最低延迟和资源开销。

快速链接

1. HuggingFace Space交互演示
2. 本地部署快速入门
3. 阅读我们的博客文章

反馈： 通过Discord提交模型相关问题或建议

演示视频

消费级硬件性能基准

在2024款Mac Mini M4 Pro上，基于🤗 Transformers运行的Qwen2-Audio-7B-Instruct平均解码速度为6.38词元/秒，而通过Nexa SDK运行的Omni-Audio-2.6B在FP16 GGUF版本中达到35.23词元/秒，Q4_K_M量化GGUF版本更达66词元/秒——在消费级硬件上实现5.5倍至10.3倍的性能提升。

应用场景

• 离线语音问答：处理无网络环境下的语音查询，如"我在露营，没有火种怎么生火？"，OmniAudio仍能提供实用指导
• 语音对话：开展个人经历交流。当你说"今天工作不顺心"时，模型会给予支持性回应和积极倾听
• 创意内容生成：将语音提示转化为创意作品。输入"写一首关于秋叶的俳句"，即可获得灵感源自语音的诗意回复
• 录音摘要：简单询问"能总结这段会议记录吗？"，即可将冗长录音转化为简洁可执行摘要
• 语音语调调整：将随意语音备忘录转为专业沟通。当要求"把这段语音改得更正式些"，模型会在保留核心内容的同时调整语气

本地部署指南

步骤1：安装Nexa-SDK（端侧本地推理框架）

🚀 安装Nexa-SDK

Nexa-SDK是开源端侧推理框架，支持文本生成、图像生成、视觉语言模型(VLM)、音频语言模型、语音转写(ASR)及文本转语音(TTS)功能，可通过Python包或可执行安装程序安装

步骤2：在终端运行以下代码

nexa run omniaudio -st  

💻 OmniAudio-2.6B q4_K_M版本需1.30GB内存和1.60GB存储空间

训练过程

我们通过三阶段训练流程开发OmniAudio：

• 预训练：使用MLS English 10k转录数据集聚焦音频文本对齐核心能力。引入特殊<|transcribe|>标记使模型区分转录与补全任务，确保跨场景性能一致
• 监督微调(SFT)：基于MLS English 10k转录合成数据集增强对话能力，利用专有模型生成情境化响应，构建丰富的音频文本对以提升对话理解
• 直接偏好优化(DPO)：以GPT-4o API为参照优化模型质量，修正错误响应同时保持语义对齐，并借助Gemma2文本响应作为黄金标准确保音频/文本输入质量一致

未来规划

OmniAudio持续演进中，我们正推进以下能力：

• 开发双向语音通信的直接音频生成功能
• 通过Octopus_v2集成实现函数调用支持

长期目标是将OmniAudio打造为端侧音频语言处理的完整解决方案

加入社区

Discord | X(推特)