语言: 中文 标签:

• 多模态
• 文本
• 图像
• 图像转文本 数据集:
• HuggingFaceM4/OBELICS
• laion/laion2B-en
• coyo-700m
• mmc4 管道标签: 文本生成 推理: 是

论文详情

更多细节请参阅我们的论文：https://arxiv.org/abs/2403.01487。我们已在https://github.com/InfiMM/infimm-hd/发布了预训练模型及PyTorch代码。欢迎基于我们的预训练模型构建您自己的模型。

快速开始

使用以下代码快速体验基础模型：

import torch
from transformers import AutoModelForCausalLM, AutoProcessor

processor = AutoProcessor.from_pretrained("Infi-MM/infimm-hd", trust_remote_code=True)

prompts = [
    {
        "role": "user",
        "content": [
            {"image": "/xxx/test.jpg"}, # 替换为您的图片路径
            "请详细描述这张图片。",
        ],
    }
]
inputs = processor(prompts)
# 使用bf16格式和0号GPU
model = AutoModelForCausalLM.from_pretrained(
    "Infi-MM/infimm-hd",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
).to(0).eval()

inputs = inputs

inputs["batch_images"] = inputs["batch_images"].to(torch.bfloat16)
for k in inputs:
    inputs[k] = inputs[k].to(model.device)

generated_ids = model.generate(
    **inputs,
    min_new_tokens=0,
    max_new_tokens=256,
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=True)
print(generated_text)

许可证

本项目采用CC BY-NC 4.0知识共享许可协议。

图像版权归原作者所有。

详见许可证文件。

联系我们

如有任何疑问，请通过邮件infimmbytedance@gmail.com联系我们。

引用文献

@misc{liu2024infimmhd,
      title={InfiMM-HD：高分辨率多模态理解的重大突破}, 
      author={刘浩耕、游全增、韩晓天、王艺琪、翟博涵、刘永飞、陶云哲、黄怀波、何然、杨红霞},
      year={2024},
      eprint={2403.01487},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}