🚀 明轻全模态模型（Ming-Lite-Omni）

明轻全模态模型（Ming-Lite-Omni）是一个轻量级的统一多模态模型，能够高效处理图像、文本、音频和视频等多种模态的数据，在语音和图像生成方面表现出色，为多模态感知和生成任务提供了强大的解决方案。

📑 技术报告｜📖 项目主页 ｜🤗 Hugging Face｜ 🤖 ModelScope

🚀 快速开始

请按照以下步骤下载并运行明轻全模态模型（Ming-Lite-Omni）：

1. 下载模型：参考模型下载部分的说明进行操作。
2. 安装依赖：在Python环境中执行以下命令安装所需的依赖库。

pip install -r requirements.txt
pip install data/matcha_tts-0.0.5.1-cp38-cp38-linux_x86_64.whl
pip install diffusers==0.33.0
pip install nvidia-cublas-cu12==12.4.5.8  # for H20

注意：我们在配备CUDA 12.2的NVIDIA H800 - 80GB硬件上测试了以下示例。以bfloat16格式加载inclusionAI/Ming-Lite-Omni模型大约需要40890MB的内存。 3. 运行代码示例：参考使用示例部分的代码示例进行模型的调用和推理。

✨ 主要特性

• 统一全模态感知：基于Ling的MoE架构大语言模型，通过特定模态的路由机制解决任务冲突，确保不同模态的令牌能够在统一框架下高效整合。
• 统一感知与生成：实现了多模态数据的统一理解和生成，能够在生成过程中准确解读多模态指令和用户意图，提升生成质量和多任务的可用性。
• 创新生成能力：具备感知所有模态数据的能力，并能同时生成高质量的文本、自然流畅的语音和生动逼真的图像，在图像感知、视听交互和图像生成等跨模态任务中表现卓越。

📦 安装指南

环境依赖安装

在Python环境中执行以下命令安装所需的依赖库：

pip install -r requirements.txt
pip install data/matcha_tts-0.0.5.1-cp38-cp38-linux_x86_64.whl
pip install diffusers==0.33.0
pip install nvidia-cublas-cu12==12.4.5.8  # for H20

💻 使用示例

基础用法

import os
import torch
from transformers import AutoProcessor, GenerationConfig
from modeling_bailingmm import BailingMMNativeForConditionalGeneration

# 构建模型
model = BailingMMNativeForConditionalGeneration.from_pretrained(
    "inclusionAI/Ming-Lite-Omni",
    torch_dtype=torch.bfloat16,
    low_cpu_mem_usage=True
).to("cuda")

assets_path = YOUR_ASSETS_PATH

# 构建处理器
processor = AutoProcessor.from_pretrained("inclusionAI/Ming-Lite-Omni", trust_remote_code=True)

高级用法

问答任务

# qa
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "请详细介绍鹦鹉的生活习性。"}
        ],
    },
]
# 输出:

# 鹦鹉是一种非常聪明和社交性强的鸟类，它们的生活习性非常丰富和有趣。以下是一些关于鹦鹉生活习性的详细介绍：
# ### 1. **栖息地**
# 鹦鹉主要分布在热带和亚热带地区，包括非洲、亚洲、澳大利亚和南美洲。它们通常生活在森林、草原、沙漠和城市环境中。不同种类的鹦鹉对栖息地的要求有所不同，但大多数鹦鹉喜欢有丰富植被和水源的地方。
# ### 2. **饮食**
# 鹦鹉是杂食性动物，它们的饮食非常多样化。它们的食物包括种子、坚果、水果、蔬菜、花蜜和昆虫。鹦鹉的喙非常强壮，能够轻松地打开坚硬的果壳和坚果。一些鹦鹉还会吃泥土或沙子，以帮助消化和补充矿物质。
# ......

图像问答任务

# image qa
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "image", "image": os.path.join(assets_path, "flowers.jpg")},
            {"type": "text", "text": "What kind of flower is this?"},
        ],
    },
]
# 输出:

# The flowers in this image are forget - me - nots. These delicate blooms are known for their small, five - petaled flowers that come in various shades of blue, pink, and white. 

视频问答任务

# video qa
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "video", "video": os.path.join(assets_path, "yoga.mp4")},
            {"type": "text", "text": "What is the woman doing?"},
        ],
    },
]
# 输出:

# The image shows a woman performing a yoga pose on a rooftop. She's in a dynamic yoga pose, with her arms and legs extended in various positions.

多轮对话任务

# multi - turn chat
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "中国的首都是哪里？"},
        ],
    },
    {
        "role": "ASSISTANT",
        "content": [
            {"type": "text", "text": "北京"},
        ],
    },
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "它的占地面积是多少？有多少常住人口？"},
        ],
    },
]
# 输出:

# 北京市的总面积约为16,410.54平方公里，常住人口约为21,542,000人。

推理准备与生成调用

# 推理准备
text = processor.apply_chat_template(messages, add_generation_prompt=True)
image_inputs, video_inputs, audio_inputs = processor.process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    audios=audio_inputs,
    return_tensors="pt",
)
inputs = inputs.to(model.device)
for k in inputs.keys():
    if k == "pixel_values" or k == "pixel_values_videos" or k == "audio_feats":
        inputs[k] = inputs[k].to(dtype=torch.bfloat16)

# 调用生成方法
generation_config = GenerationConfig.from_dict({'no_repeat_ngram_size': 10})
generated_ids = model.generate(
    **inputs,
    max_new_tokens=512,
    use_cache=True,
    eos_token_id=processor.gen_terminator,
    generation_config=generation_config,
)
generated_ids_trimmed = [
        out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
    ]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)[0]
print(output_text)

音频任务

自动语音识别（ASR）

# ASR
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "text", "text": "Please recognize the language of this speech and transcribe it. Format: oral."},
            {"type": "audio", "audio": 'data/wavs/BAC009S0915W0292.wav'},
        ],
    },
]
# 我们在ASR任务中使用whisper编码器，因此需要修改上述代码
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    audios=audio_inputs,
    return_tensors="pt",
    audio_kwargs={'use_whisper_encoder': True}
)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    use_cache=True,
    eos_token_id=processor.gen_terminator,
    generation_config=generation_config,
    use_whisper_encoder=True
)

语音到语音转换

# speech2speech
messages = [
    {
        "role": "HUMAN",
        "content": [
            {"type": "audio", "audio": 'data/wavs/speechQA_sample.wav'},
        ],
    },
]
generation_config = GenerationConfig.from_dict({
    'output_hidden_states': True,
    'return_dict_in_generate': True,
    'no_repeat_ngram_size': 10}
)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    use_cache=True,
    eos_token_id=processor.gen_terminator,
    generation_config=generation_config,
    us

📚 详细文档

模型信息

模型下载

你可以从Hugging Face和ModelScope平台下载该模型。

注意：如果你在中国内地，强烈建议你从🤖 ModelScope下载我们的模型。

使用案例

更多演示案例请参考我们的项目主页。

评估结果

明轻全模态模型（Ming-Lite-Omni）在图像感知、视听交互和图像生成等跨模态任务中表现出色。具体评估结果如下：

图像基准测试

百科基准测试

视频基准测试

注意：所有模型均基于128个均匀采样的帧进行评估。

音频基准测试

语音问答（SpeechQA）

自动语音识别（ASR）

信息检索基准测试

OCR基准测试

GUI基准测试

注意：* 表示复现结果。

统一生成基准测试

更多全面的评估结果请参考我们的技术报告。

🔧 技术细节

明轻全模态模型（Ming-lite-omni）是Ming-omni的轻量级版本，它基于Ling-lite开发，拥有28亿个激活参数。该模型采用专用编码器从不同模态中提取令牌，然后由配备新提出的特定模态路由器的MoE架构Ling进行处理。这种设计使得单个模型能够在统一框架内高效处理和融合多模态输入，从而支持多样化的任务，无需单独的模型、特定任务的微调或结构重新设计。

重要的是，Ming-lite-omni超越了传统的多模态模型，支持音频和图像生成。这是通过集成先进的音频解码器实现自然语音生成，以及使用Ming-Lite-Uni实现高质量图像生成来完成的。这些功能还使模型能够进行上下文感知的聊天、执行文本到语音转换和进行多功能图像编辑。我们的实验结果表明，Ming-lite-omni为所有模态的统一感知和生成提供了强大的解决方案。

值得注意的是，据我们所知，Ming-lite-omni是第一个在模态支持方面与GPT-4o相匹配的开源模型，我们发布了所有代码和模型权重，以鼓励社区进行进一步的研究和开发。

📄 许可证

本项目采用MIT许可证。具体许可证信息请参考相关文件。