license: other pipeline_tag: visual-question-answering

本仓库基于InternLM-XComposer2官方版本开发，新增支持批量化训练与flash-attn加速功能。欢迎试用并提出宝贵建议~

InternLM-XComposer2

InternLM-XComposer2是基于InternLM2开发的视觉语言大模型(VLLM)，具备卓越的图文理解与创作能力。

我们发布两个版本模型：

• InternLM-XComposer2-VL：以InternLM2作为LLM基座的多模态预训练模型，在各类评测中表现优异
• InternLM-XComposer2：专为自由式图文交错创作任务微调的视觉语言模型

Transformers快速加载

通过以下代码使用Transformers加载InternLM-XComposer2-VL-7B模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
ckpt_path = "internlm/internlm-xcomposer2-vl-7b"
tokenizer = AutoTokenizer.from_pretrained(ckpt_path, trust_remote_code=True).cuda()
# 设置`torch_dtype=torch.float16`以float16精度加载模型，否则可能因float32精度导致显存不足
model = AutoModelForCausalLM.from_pretrained(ckpt_path, torch_dtype=torch.float16, trust_remote_code=True).cuda()
model = model.eval()

快速体验

以下示例展示如何使用🤗 Transformers调用InternLM-XComposer：

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型与分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2-vl-7b', trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2-vl-7b', trust_remote_code=True)

query = '<ImageHere>请详细描述这张图片'
image = './image1.webp'
with torch.cuda.amp.autocast():
  response, _ = model.chat(tokenizer, query=query, image=image, history=[], do_sample=False)
print(response)
# 图片呈现奥斯卡·王尔德的名句"生活无需借口，旅行不留遗憾"，背景是壮丽的日落景象。
# 天空渲染着粉橙交织的渐变色，营造出宁静氛围。两个剪影人物伫立悬崖边缘凝望地平线，
# 他们徒步探索的身姿完美诠释了引文内涵。整个场景传递着冒险与自由的精神，
# 激励观者拥抱无悔人生。

开源许可

代码遵循Apache-2.0协议，模型权重对学术研究完全开放并允许免费商用。商业授权申请请填写[英文表格]/[中文申请表]。其他合作需求请联系internlm@pjlab.org.cn。