许可证: 其他 任务类型: 视觉问答

InternLM-XComposer2-4KHD

InternLM-XComposer2-4KHD 是基于InternLM2的通用视觉语言大模型(VLLM)，具备4K分辨率图像理解能力。

通过Transformers加载

使用以下代码通过Transformers加载InternLM-XComposer2-4KHD模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
ckpt_path = "internlm/internlm-xcomposer2-4khd-7b"
tokenizer = AutoTokenizer.from_pretrained(ckpt_path, trust_remote_code=True).cuda()
# 设置`torch_dtype=torch.floatb16`以bfloat16格式加载模型，否则会以float32格式加载可能导致内存不足错误
model = AutoModelForCausalLM.from_pretrained(ckpt_path, torch_dtype=torch.bfloat16, trust_remote_code=True).cuda()
model = model.eval()

快速开始

我们提供一个简单示例展示如何通过🤗 Transformers使用InternLM-XComposer：

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2-4khd-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2-4khd-7b', trust_remote_code=True)

###############
# 第一轮对话
###############

query1 = '<ImageHere>请描述图片中的细节内容'
image = './example.webp'
with torch.cuda.amp.autocast():
  response, his = model.chat(tokenizer, query=query, image=image, hd_num=55, history=[], do_sample=False, num_beams=3)
print(response)
# 图片是一幅生动多彩的信息图，展示了2021年将主导的7个平面设计趋势。信息图分为7个部分，每个部分代表不同趋势。
# 顶部第一部分聚焦"柔和色调"，强调设计中柔和色彩的运用。
# 第二部分探讨"简约数据可视化"，突出易于理解的数据可视化的重要性。
# 第三部分介绍"无处不在的几何形状"，展示几何形状在设计中的应用。
# 第四部分讨论"扁平化图标与插画"，解释扁平化设计元素的使用。
# 第五部分专门介绍"经典衬线字体"，展示这类字体在设计中复兴。
# 第六部分探索"社交媒体幻灯片"，说明幻灯片在社交媒体的应用。
# 最后第七部分聚焦"文字密集型视频"，展示文字视频的设计趋势。
# 每个部分都配有相关图片和文字，全面概述了2021年将主导的7大设计趋势。

###############
# 第二轮对话
###############
query1 = '请详细解释第三部分内容'
with torch.cuda.amp.autocast():
  response, _ = model.chat(tokenizer, query=query1, image=image, hd_num=55, history=his, do_sample=False, num_beams=3)
print(response)
# 信息图第三部分关于"无处不在的几何形状"。说明去年设计师常在设计中使用流动抽象形状，
# 而今年这些已被刚性的硬边几何形状和图案取代。几何形状的硬边与柔和色调形成鲜明对比。