许可证: mit 流水线标签: 任意到任意 库名称: mini-omni2

Mini-Omni2

🤗 Hugging Face | 📖 Github | 📑 技术报告

Mini-Omni2是一款全交互式模型。它能理解图像、音频和文本输入，并与用户进行端到端的语音对话。具备实时语音输出、全能多模态理解以及灵活的说话时可中断交互能力。

更新动态

• 2024.10: 发布模型、技术报告、推理及聊天演示代码。

功能特性

✅ 多模态交互：具备理解图像、语音和文本的能力，如同GPT-4o。

✅ 实时语音对话能力。无需额外ASR或TTS模型，类似Mini-Omni。

演示

注意：需先取消静音。

https://github.com/user-attachments/assets/ad97ca7f-f8b4-40c3-a7e8-fa54b4edf155

待办事项

• [ ] 更新中断机制

安装

创建新conda环境并安装所需包：

conda create -n omni python=3.10
conda activate omni

git clone https://github.com/gpt-omni/mini-omni2.git
cd mini-omni2
pip install -r requirements.txt

快速开始

交互式演示

• 启动服务器 注意：运行streamlit或gradio演示前需先启动服务器，并将API_URL设置为服务器地址。

sudo apt-get install ffmpeg
conda activate omni
cd mini-omni2
python3 server.py --ip '0.0.0.0' --port 60808

• 运行streamlit演示 注意：需在本地运行streamlit并安装PyAudio。

pip install PyAudio==0.2.14
API_URL=http://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py

本地测试

conda activate omni
cd mini-omni2
# 测试预置音频样本和问题
python inference_vision.py

Mini-Omni2概览

1. 多模态建模： 使用多序列作为模型输入输出。输入部分将图像、音频和文本特征拼接以执行综合任务；输出部分采用文本引导的延迟并行输出来生成实时语音响应。

2. 多阶段训练： 提出高效对齐训练方法，分三阶段进行编码器适配、模态对齐和多模态微调。

常见问题

1. 模型支持其他语言吗？ 不支持，模型仅训练英语。但使用whisper作为音频编码器，可理解whisper支持的其他语言（如中文），输出仍为英文。

2. 错误：无法在本地浏览器运行streamlit，使用远程streamlit服务器 需在本地启动streamlit并安装PyAudio。

致谢

• Qwen2作为LLM主干
• litGPT用于训练推理
• whisper用于音频编码
• clip用于图像编码
• snac用于音频解码
• CosyVoice生成合成语音
• OpenOrca和MOSS用于对齐