许可协议：apache-2.0
任务类型：图像文本生成文本

Moondream 是一款轻量级视觉语言模型，专为高效全平台运行设计。

官网 | 演示 | GitHub

本仓库包含 Moondream 最新版本（2025-04-14）及历史版本记录。该模型更新频繁，生产环境使用时建议按下方示例指定版本号。

使用示例

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model = AutoModelForCausalLM.from_pretrained(
    "vikhyatk/moondream2",
    revision="2025-04-14",
    trust_remote_code=True,
    # 取消注释以使用GPU运行
    # device_map={"": "cuda"}
)

# 图像描述生成
print("简短描述:")
print(model.caption(image, length="short")["caption"])

print("\n标准描述:")
for t in model.caption(image, length="normal", stream=True)["caption"]:
    # 流式生成示例，caption()和detect()均支持
    print(t, end="", flush=True)
print(model.caption(image, length="normal"))

# 视觉问答
print("\n视觉提问：'图中有多少人？'")
print(model.query(image, "How many people are in the image?")["answer"])

# 目标检测
print("\n目标检测：'人脸'")
objects = model.detect(image, "face")["objects"]
print(f"检测到 {len(objects)} 张人脸")

# 指向识别
print("\n指向识别：'人物'")
points = model.point(image, "person")["points"]
print(f"定位到 {len(points)} 个人物")

版本日志

2025-04-15 (完整更新说明)

1. 图表理解能力提升（ChartQA从74.8提升至77.5，使用PoT可达82.2）
2. 新增温度调节与核心采样机制，减少重复输出
3. 文档表格OCR优化（建议使用"转录文本"或"按自然阅读顺序转录文本"提示）
4. 目标检测支持文档布局识别（图表、公式、文本等）
5. 界面理解能力增强（ScreenSpot F1@0.5从53.3提升至60.3）
6. 文本理解改进（DocVQA从76.5提升至79.3，TextVQA从74.6提升至76.3）

2025-03-27 (完整更新说明)

1. 新增长文本描述生成功能
2. 开放词汇图像标注
3. 计数精度提升（如CountBenchQA从80提升至86.4）
4. 文本理解优化（如OCRBench从58.3提升至61.2）
5. 目标检测改进，尤其小物体识别（如COCO从30.5提升至51.2）
6. 修复影响多字节Unicode字符的令牌流式传输问题
7. 支持HF Transformers实现中的gpt-fast风格compile()方法