license: other pipeline_tag: visual-question-answering

书生·浦语2

InternLM-XComposer2（书生·浦语2）是基于InternLM2的视觉-语言大模型（VLLM），具备卓越的图文理解与创作能力。

我们发布书生·浦语2系列的两个版本：

• InternLM-XComposer2-VL：以InternLM2作为大语言模型初始化的预训练VLLM模型，在多项多模态基准测试中表现优异。
• InternLM-XComposer2：专为自由式图文交错创作任务微调的VLLM模型。

通过Transformers加载

使用以下代码通过Transformers加载InternLM-XComposer2-VL-1.8B模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
ckpt_path = "internlm/internlm-xcomposer2-vl-1_8b"
tokenizer = AutoTokenizer.from_pretrained(ckpt_path, trust_remote_code=True).cuda()
# 设置`torch_dtype=torch.float16`以float16精度加载模型，否则会以float32加载可能导致内存不足
model = AutoModelForCausalLM.from_pretrained(ckpt_path, torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

快速开始

我们提供简单示例展示如何通过🤗 Transformers使用书生·浦语：

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2-vl-1_8b', trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2-vl-1_8b', trust_remote_code=True)

query = '<ImageHere>请详细描述这张图片。'
image = './image1.webp'
with torch.cuda.amp.autocast():
  response, _ = model.chat(tokenizer, query=query, image=image, history=[], do_sample=False)
print(response)
# 图片展现了一幅壮丽的山区日落景观。橙粉渐变的天空映衬着山巅两个剪影人像。画面上的白色文字是奥斯卡·王尔德的名言："活着无需借口，远行不留遗憾。"这句箴言与宁静的景致相得益彰，强烈唤起了对无悔人生的思考。

开源许可

代码遵循Apache-2.0许可证，模型权重对学术研究完全开放并允许免费商用。申请商业许可请填写[英文申请表]/[中文申请表]。其他问题或合作请联系internlm@pjlab.org.cn。