import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '这是视频的若干帧画面。请详细描述该视频内容'
image = ['./examples/liuxiang.mp4',]
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, his = model.chat(tokenizer, query, image, do_sample=False, num_beams=3, use_meta=True)
print(response)
#视频开篇展现了一位身着红黄相间运动服的运动员，服装正面印有"CHINA"字样，正在为比赛做准备。背景可见奥运五环标志，表明这是奥运会赛场。随着比赛开始，运动员们全力冲向跨栏，刘翔依然穿着标志性的红黄运动服，最终以胜利姿态冲过终点线，观众席爆发出热烈欢呼。视频结尾特写刘翔沉浸在胜利喜悦中，奥运五环始终象征着这场赛事的重要意义。

query = '告诉我刘翔的运动员编号'
image = ['./examples/liuxiang.mp4',]
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, _ = model.chat(tokenizer, query, image, history=his, do_sample=False, num_beams=3, use_meta=True)
print(response)
#视频中刘翔运动服上显示的运动员编号是"1363"。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '图1 <ImageHere>; 图2 <ImageHere>; 图3 <ImageHere>; 我想从这三款车中选购一辆，请逐一分析它们的优缺点'
image = ['./examples/cars1.jpg',
        './examples/cars2.jpg',
        './examples/cars3.jpg',]
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, his = model.chat(tokenizer, query, image, do_sample=False, num_beams=3, use_meta=True)
print(response)
#分析各车型需综合考虑品牌声誉、性能、设计、成本和维护等因素：
#1. 奔驰：优势-以豪华可靠著称，提供高舒适度、先进技术和精湛工艺，图中SUV车型适合城市与越野多场景；劣势-价格通常高于其他品牌，豪华定位可能导致更频繁的维护需求。
#2. 布加迪：优势-以极致速度与动力闻名，图中跑车搭载高性能引擎和空气动力学设计；劣势-价格极其昂贵，需要专业维护，日常驾驶实用性较低。
#3. 宝马：优势-以创新工程和设计闻名，图中电动车具有低排放、低噪音和潜在低使用成本优势；劣势-续航里程可能限制长途出行，初始购置成本较高。
#最终选择取决于买家对舒适性、性能、环保性和预算的优先级。

query = '图4 <ImageHere>; 请分析图4中的车辆'
image.append('./examples/cars4.jpg')        
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, _ = model.chat(tokenizer, query, image, do_sample=False, num_beams=3, history= his, use_meta=True)
print(response)
#图4中的红色跑车为法拉利，意大利传奇超跑制造商：优势-象征速度、奢华与工程巅峰，红色涂装增强视觉冲击力；劣势-价格极其昂贵，需要专业维护，日常实用性较低。相较前几款车型，法拉利代表汽车工业的极致表现，但高昂成本使其更偏向收藏而非日常使用。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '详细分析给定信息图'
image = ['./examples/dubai.png']
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response, _ = model.chat(tokenizer, query, image, do_sample=False, num_beams=3, use_meta=True)
print(response)
#该信息图系统呈现迪拜的多项特征：从太空可见的最大人工岛棕榈岛；1968年全市仅数辆汽车与现今150万辆的对比；拥有世界最长金链和全球10大最高酒店中的7座；近乎零的犯罪率和零所得税；运营着全球20%的起重机；当地人口17%为阿联酋人，83%为移民；世界最大商场迪拜购物中心含1200家店铺；无标准地址系统（无邮编、区号或邮政服务）；哈利法塔过高导致顶层居民斋月开斋需延迟；建有气候控制城市；阿拉伯塔酒店皇家套房每晚2.4万美元；四位列名富豪净资产约等于洪都拉斯GDP。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '为科研机构"上海AI实验室"创建网站。顶部导航栏为蓝色，左侧展示实验室Logo图片，右侧文字描述机构使命，下方展示多个研究项目图片。'
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response = model.write_webpage(query, seed=202, task='指令感知网页生成', repetition_penalty=3.0)
print(response)
# 生成结果参见Instruction-aware_Webpage_Generation.html

查看指令生成网页结果。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

## 输入需为Markdown格式简历
query = './examples/resume.md'
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response = model.resume_2_webpage(query, seed=202, repetition_penalty=3.0)
print(response)

查看简历转网页结果。

import torch
from transformers import AutoModel, AutoTokenizer

torch.set_grad_enabled(False)

# 初始化模型和分词器
model = AutoModel.from_pretrained('internlm/internlm-xcomposer2d5-7b', torch_dtype=torch.bfloat16, trust_remote_code=True).cuda().eval()
tokenizer = AutoTokenizer.from_pretrained('internlm/internlm-xcomposer2d5-7b', trust_remote_code=True)
model.tokenizer = tokenizer

query = '使用Tailwind CSS根据网页截图生成HTML代码'
image = ['./examples/screenshot.jpg']
with torch.autocast(device_type='cuda', dtype=torch.float16):
    response = model.screen_2_webpage(query, image, seed=202, repetition_penalty=3.0)
print(response)

查看截图转网页结果。