license: other pipeline_tag: text-generation

书生·浦语XComposer2

书生·浦语XComposer2是基于InternLM2的视觉语言大模型（VLLM），具备卓越的图文理解与创作能力。

我们发布的书生·浦语XComposer2系列包含两个版本：

• 书生·浦语XComposer2-VL：以InternLM2作为大语言模型基座的预训练视觉语言模型，在多模态基准测试中表现优异
• 书生·浦语XComposer2：专为自由图文交错创作任务微调的视觉语言模型

当前为书生·浦语XComposer2-VL的4-bit量化版本，使用前请安装最新版auto_gptq。

快速开始

以下示例展示如何通过🤗 Transformers使用本模型：

import torch, auto_gptq
from transformers import AutoModel, AutoTokenizer 
from auto_gptq.modeling import BaseGPTQForCausalLM

auto_gptq.modeling._base.SUPPORTED_MODELS = ["internlm"]
torch.set_grad_enabled(False)

class InternLMXComposer2QForCausalLM(BaseGPTQForCausalLM):
    layers_block_name = "model.layers"
    outside_layer_modules = [
        'vit', 'vision_proj', 'model.tok_embeddings', 'model.norm', 'output', 
    ]
    inside_layer_modules = [
        ["attention.wqkv.linear"],
        ["attention.wo.linear"],
        ["feed_forward.w1.linear", "feed_forward.w3.linear"],
        ["feed_forward.w2.linear"],
    ]
 
# 初始化模型和分词器
model = InternLMXComposer2QForCausalLM.from_quantized(
  'internlm/internlm-xcomposer2-vl-7b-4bit', trust_remote_code=True, device="cuda:0").eval()
tokenizer = AutoTokenizer.from_pretrained(
  'internlm/internlm-xcomposer2-vl-7b-4bit', trust_remote_code=True)

text = '<ImageHere>请详细描述这张图片。'
image = 'examples/image1.webp'
with torch.cuda.amp.autocast(): 
  response, _ = model.chat(tokenizer, query=query, image=image, history=[], do_sample=False) 
print(response)
# 图片呈现奥斯卡·王尔德的名句："生活无需借口，旅行不留遗憾"。白色文字衬于深色背景之上。前景中，夕阳下的山丘上矗立着两个剪影人像，其中一人手持登山杖，似在徒步攀登。天际线处橙紫交织的晚霞与深色人影形成绝美对比。

开源许可

代码采用Apache-2.0许可证，模型权重对学术研究完全开放并允许免费商用。如需商业授权，请填写英文申请表/中文申请表。其他问题或合作需求，请联系internlm@pjlab.org.cn。