license: other license_name: qwen-research license_link: LICENSE language:

• en tags:
• multimodal library_name: transformers pipeline_tag: any-to-any

Qwen2.5-Omni

概述

简介

Qwen2.5-Omni是一个端到端的多模态模型，能够感知包括文本、图像、音频和视频在内的多种模态，同时以流式方式生成文本和自然语音响应。

主要特性

• 全模态与创新架构：我们提出了Thinker-Talker架构，这是一个端到端的多模态模型，能够感知包括文本、图像、音频和视频在内的多种模态，同时以流式方式生成文本和自然语音响应。我们提出了一种新颖的位置嵌入方法，称为TMRoPE（时间对齐的多模态RoPE），以同步视频输入与音频的时间戳。

• 实时语音与视频聊天：专为完全实时交互设计的架构，支持分块输入和即时输出。

• 自然且稳健的语音生成：超越了许多现有的流式和非流式替代方案，在语音生成中展现出卓越的稳健性和自然度。

• 跨模态的强劲表现：在与类似规模的单模态模型对比时，Qwen2.5-Omni在所有模态上均表现出色。Qwen2.5-Omni在音频能力上超越了类似规模的Qwen2-Audio，并在性能上与Qwen2.5-VL-7B相当。

• 卓越的端到端语音指令跟随：Qwen2.5-Omni在端到端语音指令跟随方面的表现与其在文本输入上的效果相当，这一点在MMLU和GSM8K等基准测试中得到了验证。

模型架构

性能表现

我们对Qwen2.5-Omni进行了全面评估，结果显示其在所有模态上均表现出色，与类似规模的单模态模型及闭源模型如Qwen2.5-VL-7B、Qwen2-Audio和Gemini-1.5-pro相比具有优势。在需要多模态整合的任务中，如OmniBench，Qwen2.5-Omni达到了最先进的性能。此外，在单模态任务中，它在语音识别（Common Voice）、翻译（CoVoST2）、音频理解（MMAU）、图像推理（MMMU、MMStar）、视频理解（MVBench）和语音生成（Seed-tts-eval和主观自然度）等领域表现优异。

音频 -> 文本

数据集	模型	性能
自动语音识别（ASR）
Librispeech 开发集-干净 | 开发集-其他 | 测试集-干净 | 测试集-其他	SALMONN	-|-|2.1|4.9
	SpeechVerse	-|-|2.1|4.4
	Whisper-large-v3	-|-|1.8|3.6
	Llama-3-8B	-|-|-|3.4
	Llama-3-70B	-|-|-|3.1
	Seed-ASR-Multilingual	-|-|1.6|2.8
	MiniCPM-o	-|-|1.7|-
	MinMo	-|-|1.7|3.9
	Qwen-Audio	1.8|4.0|2.0|4.2
	Qwen2-Audio	1.3|3.4|1.6|3.6
	Qwen2.5-Omni-3B	2.0|4.1|2.2|4.5
	Qwen2.5-Omni-7B	1.6|3.5|1.8|3.4
Common Voice 15 英语 | 中文 | 粤语 | 法语	Whisper-large-v3	9.3|12.8|10.9|10.8
	MinMo	7.9|6.3|6.4|8.5
	Qwen2-Audio	8.6|6.9|5.9|9.6
	Qwen2.5-Omni-3B	9.1|6.0|11.6|9.6
	Qwen2.5-Omni-7B	7.6|5.2|7.3|7.5
Fleurs 中文 | 英语	Whisper-large-v3	7.7|4.1
	Seed-ASR-Multilingual	-|3.4
	Megrez-3B-Omni	10.8|-
	MiniCPM-o	4.4|-
	MinMo	3.0|3.8
	Qwen2-Audio	7.5|-
	Qwen2.5-Omni-3B	3.2|5.4
	Qwen2.5-Omni-7B	3.0|4.1
Wenetspeech 测试集-网络 | 测试集-会议	Seed-ASR-Chinese	4.7|5.7
	Megrez-3B-Omni	-|16.4
	MiniCPM-o	6.9|-
	MinMo	6.8|7.4
	Qwen2.5-Omni-3B	6.3|8.1
	Qwen2.5-Omni-7B	5.9|7.7
Voxpopuli-V1.0-en	Llama-3-8B	6.2
	Llama-3-70B	5.7
	Qwen2.5-Omni-3B	6.6
	Qwen2.5-Omni-7B	5.8
语音到文本翻译（S2TT）
CoVoST2 英-德 | 德-英 | 英-中 | 中-英	SALMONN	18.6|-|33.1|-
	SpeechLLaMA	-|27.1|-|12.3
	BLSP	14.1|-|-|-
	MiniCPM-o	-|-|48.2|27.2
	MinMo	-|39.9|46.7|26.0
	Qwen-Audio	25.1|33.9|41.5|15.7
	Qwen2-Audio	29.9|35.2|45.2|24.4
	Codebert Base CodeBERT是一个面向编程语言与自然语言的预训练模型，基于RoBERTa架构，支持代码搜索和代码生成文档等功能。 多模态融合 C microsoft 1.6M 248 Llama 4 Scout 17B 16E Instruct 其他 Llama 4 Scout是Meta开发的多模态AI模型，采用混合专家架构，支持12种语言的文本和图像交互，具有17B激活参数和109B总参数。 多模态融合 Transformers 支持多种语言 L meta-llama 817.62k 844 Unixcoder Base Apache-2.0 UniXcoder是一个统一的多模态预训练模型，利用代码注释和抽象语法树等多模态数据预训练代码表示。 多模态融合 Transformers 英语 U microsoft 347.45k 51 TITAN TITAN是一个多模态全切片基础模型，通过视觉自监督学习和视觉-语言对齐进行预训练，用于病理学图像分析。 多模态融合 Safetensors 英语 T MahmoodLab 213.39k 37 Qwen2.5 Omni 7B 其他 Qwen2.5-Omni 是一个端到端的多模态模型，能够感知文本、图像、音频和视频等多种模态，并以流式方式生成文本和自然语音响应。 多模态融合 Transformers 英语 Q Qwen 206.20k 1,522 Minicpm O 2 6 MiniCPM-o 2.6是一款手机端运行的GPT-4o级多模态大模型，支持视觉、语音与直播流处理 多模态融合 Transformers 其他 M openbmb 178.38k 1,117 Llama 4 Scout 17B 16E Instruct 其他 Llama 4 Scout是Meta推出的17B参数/16专家混合的多模态AI模型，支持12种语言和图像理解，具有行业领先性能。 多模态融合 Transformers 支持多种语言 L chutesai 173.52k 2 Qwen2.5 Omni 3B 其他 Qwen2.5-Omni是一款端到端多模态模型，能够感知文本、图像、音频和视频等多种模态信息，并以流式方式同步生成文本和自然语音响应。 多模态融合 Transformers 英语 Q Qwen 48.07k 219 One Align MIT Q-Align是一个多任务视觉评估模型，专注于图像质量评估(IQA)、美学评估(IAA)和视频质量评估(VQA)，在ICML2024上发表。 多模态融合 Transformers O q-future 39.48k 25 Biomedvlp BioViL T MIT BioViL-T是一个专注于分析胸部X光片和放射学报告的视觉语言模型，通过时序多模态预训练提升性能。 多模态融合 Transformers 英语 B microsoft 26.39k 35 精选推荐AI模型 Llama 3 Typhoon V1.5x 8b Instruct 专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务 大型语言模型 Transformers 支持多种语言 L scb10x 3,269 16 Cadet Tiny Openrail Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。 对话系统 Transformers 英语 C ToddGoldfarb 2,691 6 Roberta Base Chinese Extractive Qa 基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。 问答系统 中文 R uer 2,694 98 AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。 简体中文 热门模型 Llama 3 Typhoon V1.5x 8b Instruct Cadet Tiny Roberta Base Chinese Extractive Qa 热门模型分类 大型语言模型 图像生成 语音识别 图像分类 文本嵌入 文本分类 机器翻译 全部分类 热门标签 多语言支持 低资源优化 低词错误率 高准确率 基于Transformer 轻量级BERT SentencePiece预处理 © 2025AIbase 备案号：闽ICP备08105208号-24 网站地图 用户协议 隐私政策