数据集:

• q-future/Q-Instruct-DB
• q-future/Co-Instruct-DB
  任务类型: 图像文本生成文本

最新动态

查看论文: https://huggingface.co/papers/2402.16641

加载模型

import torch
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("q-future/co-instruct", 
                                             trust_remote_code=True, 
                                             torch_dtype=torch.float16,
                                             attn_implementation="eager", 
                                             device_map={"":"cuda:0"})

对话示例

import requests
from PIL import Image


### 单图分析
prompt = "用户: 图片内容: <|image|> 该图片存在以下哪种现象: 动态模糊、过曝还是欠曝? 助手:"
url = "https://raw.githubusercontent.com/Q-Future/Q-Align/main/fig/singapore_flyer.jpg"
image = Image.open(requests.get(url,stream=True).raw)
model.chat(prompt, [image], max_new_tokens=200)

## 动态模糊

### 双图对比
prompt_cmp = "用户: 第一张图: <|image|>\n第二张图: <|image|>哪张图片质量更好？为什么？ 助手:"
url = "https://raw.githubusercontent.com/Q-Future/Q-Align/main/fig/boy_colorful.jpg"
image_2 = Image.open(requests.get(url,stream=True).raw)
model.chat(prompt_cmp, [image, image_2], max_new_tokens=200)

## 第二张图片质量更优。分析表明该图具有准确曝光、精准对焦、细节清晰、色彩丰富且光照充足的特点。此外，其纹理细节分明且构图居中。相比之下，第一张图虽然清晰度良好且纹理细节丰富，但光线稍显不足，这会影响图像的整体质量。因此，第二张图凭借其准确的曝光、精准的对焦、清晰的细节、丰富的色彩、充足的光照以及居中的构图而具有更高质量。