许可证：Apache-2.0
任务类型：图像文本生成文本

Moondream是一款轻量级视觉语言模型，专为高效全平台运行而设计。

官网 | 演示 | GitHub

本仓库包含2025年4月14日发布的Moondream 4比特量化版。在Nvidia RTX 3090显卡上，该版本仅占用2,450 MB显存，生成速度达184词元/秒。我们采用量化感知训练技术开发此版本，在精度仅下降0.6%的情况下实现了42%的内存占用缩减。

更多版本详情请参阅发布博客，其他修订版本及发布历史可查看此处。

使用指南

请确保安装依赖项：

pip install pillow torchao

from transformers import AutoModelForCausalLM, AutoTokenizer
from PIL import Image

model = AutoModelForCausalLM.from_pretrained(
    "moondream/moondream-2b-2025-04-14-4bit",
    trust_remote_code=True,
    device_map={"": "cuda"}
)

# 可选操作（处理大量图片时推荐启用，需预编译但能显著加速推理）：
model.model.compile()

# 图像描述生成
print("简短描述：")
print(model.caption(image, length="short")["caption"])

print("\n标准描述：")
for t in model.caption(image, length="normal", stream=True)["caption"]:
    # 流式生成示例（caption()和detect()均支持）
    print(t, end="", flush=True)
print(model.caption(image, length="normal"))

# 视觉问答
print("\n视觉提问：'图中有多少人？'")
print(model.query(image, "How many people are in the image?")["answer"])

# 目标检测
print("\n目标检测：'人脸'")
objects = model.detect(image, "face")["objects"]
print(f"检测到{len(objects)}张人脸")

# 定位标记
print("\n定位标记：'人物'")
points = model.point(image, "person")["points"]
print(f"标记出{len(points)}个人物位置")