基础模型:

• Dream-org/Dream-v0-Instruct-7B 数据集:
• liuhaotian/LLaVA-CC3M-Pretrain-595K
• lmms-lab/LLaVA-NeXT-Data 语言:
• en 库名称: transformers 许可证: apache-2.0 评估指标:
• 准确率 管道标签: 图像文本到文本 标签:
• 扩散多模态大语言模型
• MLLM
• 离散扩散

ü§ó 模型   |    üí¨ 演示：与Dimple聊天   |   üìë 论文   |    ‚ú® 代码  

üíß Dimple-7B

Dimple 是首个结合自回归与扩散训练范式的离散扩散多模态大语言模型（DMLLM）。其架构类似Qwen和LLaVA，同时引入了自回归后扩散的训练策略：

• 第一阶段：通过自回归微调实现对齐与初步指令调优
• 第二阶段：基于扩散的微调增强指令跟随能力

在LLaVA-NEXT相同数据集上训练后，Dimple-7B以3.9%的优势超越LLaVA-NEXT-7B，证明在相似训练成本下，扩散式多模态语言模型可媲美自回归模型。

üîç 核心亮点

• 混合训练：融合自回归与扩散训练范式
• 扩散解码：支持置信解码、随机解码、maskgit式解码及基于熵的解码
• 可控生成：通过结构先验实现格式、结构与长度的细粒度控制
• 类自回归预填充：采用预填充技术提升推理速度

üìä 评估结果

üõ†Ô∏è 环境配置

确保环境包含以下版本：

transformers==4.46.2
torch==2.5.1
accelerate==1.6.0

üöÄ 推理示例

import torch
from transformers import AutoProcessor, AutoModel
import json, requests
from PIL import Image

model_name = "rp-yu/Dimple-7B"
processor = AutoProcessor.from_pretrained(
    model_name,
    trust_remote_code=True
)
model = AutoModel.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
)

image_url = "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg"
messages = [
    [{"role": "user", "content": [
        {"type": "image", "image": image_url},
        {"type": "text", "text": "描述这张图片。"}
    ]}],
]
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True, add_vision_id=False
)
images = [
    Image.open(requests.get(image_url, stream=True).raw).convert("RGB")
]

inputs = processor(
    text=text,
    images=images,
    videos=None,
    padding="longest",
    return_tensors="pt",
)

input_ids = inputs.pop("input_ids")
output = model.diffusion_generate(
    input_ids,
    max_new_tokens=64,
    output_history=True,
    return_dict_in_generate=True,
    steps=64,
    temperature=0.2,
    top_p=0.95,
    alg="origin",
    use_cache=True,
    alg_p_threshold=0.95,
    use_original_confidence=True,
    decoding_pipeline="dim",
    **inputs
)

generations = [
    processor.tokenizer.decode(g[len(p):].cpu().tolist())
    for p, g in zip(input_ids, output.sequences)
]

for j in range(len(messages)):
    print("输出:", j, generations[j].split(processor.tokenizer.eos_token)[0])

# 输出: 0 图片中，一位穿着格子衬衫的女子和一只狗一起坐在海滩上。背景中太阳似乎正在西沉，营造出温暖而宁静的氛围。

üìö 引用文献

@misc{dimple,
      title={Dimple: 并行解码的离散扩散多模态大语言模型}, 
      author={余润鹏 and 马新寅 and 王新超},
      year={2025},
      eprint={2505.16990},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2505.16990}, 
}