🚀 NexaAI/Qwen2.5-Omni-3B-GGUF

Qwen2.5-Omni-3B-GGUF 是一个端到端的多模态模型，能够感知文本、图像、音频和视频等多种模态信息，同时以流式方式生成文本和自然语音响应，为多模态交互提供了强大的支持。

🚀 快速开始

安装 nexa-sdk 后即可直接运行。在 nexa-sdk 命令行界面中执行以下命令：

NexaAI/Qwen2.5-Omni-3B-GGUF

可用的量化版本

✨ 主要特性

• 全模态与新颖架构：提出了 Thinker - Talker 架构，这是一种端到端的多模态模型，旨在感知包括文本、图像、音频和视频在内的多种模态，同时以流式方式同步生成文本和自然语音响应。此外，还提出了一种新颖的位置嵌入，名为 TMRoPE（时间对齐多模态旋转位置编码），用于同步视频输入与音频的时间戳。
• 实时语音和视频聊天：架构专为全实时交互而设计，支持分块输入和即时输出。
• 自然且强大的语音生成：在语音生成方面超越了许多现有的流式和非流式替代方案，展现出卓越的鲁棒性和自然度。
• 跨模态的强大性能：与同等规模的单模态模型相比，在所有模态上均表现出色。Qwen2.5 - Omni 在音频能力上优于同等规模的 Qwen2 - Audio，并且在性能上与 Qwen2.5 - VL - 7B 相当。
• 出色的端到端语音指令遵循能力：Qwen2.5 - Omni 在端到端语音指令遵循方面的表现与其在文本输入时的有效性相媲美，这在 MMLU 和 GSM8K 等基准测试中得到了证明。

📚 详细文档

模型架构

性能评估

我们对 Qwen2.5 - Omni 进行了全面评估，与同等规模的单模态模型和闭源模型（如 Qwen2.5 - VL - 7B、Qwen2 - Audio 和 Gemini - 1.5 - pro）相比，它在所有模态上均表现出强大的性能。在需要整合多种模态的任务中，如 OmniBench，Qwen2.5 - Omni 达到了最先进的性能水平。此外，在单模态任务中，它在语音识别（Common Voice）、翻译（CoVoST2）、音频理解（MMAU）、图像推理（MMMU、MMStar）、视频理解（MVBench）和语音生成（Seed - tts - eval 和主观自然度）等领域表现出色。

📄 许可证

本项目采用 qwen - research 许可证。