许可证: cc-by-nc-4.0 语言:

• 英文 任务标签: 图像文本到文本

📣 新闻动态

📌 [2024年8月19日] xGen-MM-v1.5版本发布：

• 🤗 xgen-mm-phi3-mini-instruct-interleave-r-v1.5
• 🤗 xgen-mm-phi3-mini-base-r-v1.5
• 🤗 xgen-mm-phi3-mini-instruct-singleimg-r-v1.5
• 🤗 xgen-mm-phi3-mini-instruct-dpo-r-v1.5

模型描述

我们激动地宣布将BLIP系列延续并更名为XGen-MM，以更好地与Salesforce统一的大模型计划XGen保持一致！这一更名标志着我们在前沿多模态技术持续发展中的重要一步。

XGen-MM是Salesforce AI Research开发的最新基础大型多模态模型（LMMs）系列。该系列在BLIP系列成功设计的基础上进行了改进，融入了基础性增强，确保了更强大和卓越的基础。
这些模型已在高质量图像描述数据集和交错图文数据上进行了大规模训练。XGen-MM具有以下特点：

• 预训练基础模型xgen-mm-phi3-mini-base-r-v1在5b参数下实现了最先进的性能，并展现出强大的上下文学习能力。
• 指令微调模型xgen-mm-phi3-mini-instruct-r-v1在5b参数下在开源和闭源视觉语言模型中均实现了最先进的性能。
• xgen-mm-phi3-mini-instruct-r-v1支持灵活的高分辨率图像编码，具有高效的视觉标记采样能力。

更多技术细节将在即将发布的技术报告中公布。

结果

预训练（未经指令微调的基础模型）

指令微调（指令微调后）

使用方法

> 我们需要使用transformers库的开发版本（"4.41.0.dev0"）。截至2024年5月7日，可以通过pip uninstall -y transformers && pip install git+https://github.com/huggingface/transformers安装。

from transformers import AutoModelForVision2Seq, AutoTokenizer, AutoImageProcessor, StoppingCriteria
import torch
import requests
from PIL import Image

# 定义提示模板
def apply_prompt_template(prompt):
    s = (
            '<|system|>\n一个好奇的用户和人工智能助手之间的对话。'
            "助手对用户的问题提供有帮助、详细和礼貌的回答。<|end|>\n"
            f'<|user|>\n<image>\n{prompt}<|end|>\n<|assistant|>\n'
        )
    return s 
class EosListStoppingCriteria(StoppingCriteria):
    def __init__(self, eos_sequence = [32007]):
        self.eos_sequence = eos_sequence

    def __call__(self, input_ids: torch.LongTensor, scores: torch.FloatTensor, **kwargs) -> bool:
        last_ids = input_ids[:,-len(self.eos_sequence):].tolist()
        return self.eos_sequence in last_ids      

# 加载模型
model_name_or_path = "Salesforce/xgen-mm-phi3-mini-instruct-r-v1"
model = AutoModelForVision2Seq.from_pretrained(model_name_or_path, trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True, use_fast=False, legacy=False)
image_processor = AutoImageProcessor.from_pretrained(model_name_or_path, trust_remote_code=True)
tokenizer = model.update_special_tokens(tokenizer)

# 创建一个测试样本
img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg'
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')
query = "图片中有多少只狗？"

model = model.cuda()
inputs = image_processor([raw_image], return_tensors="pt", image_aspect_ratio='anyres')
prompt = apply_prompt_template(query)
language_inputs = tokenizer([prompt], return_tensors="pt")
inputs.update(language_inputs)
inputs = {name: tensor.cuda() for name, tensor in inputs.items()}
generated_text = model.generate(**inputs, image_size=[raw_image.size],
                                pad_token_id=tokenizer.pad_token_id,
                                do_sample=False, max_new_tokens=768, top_p=None, num_beams=1,
                                stopping_criteria = [EosListStoppingCriteria()],
                                )
prediction = tokenizer.decode(generated_text[0], skip_special_tokens=True).split("<|end|>")[0]
print("==> 预测结果: ", prediction)
# 输出: ==> 预测结果: 图片中有一只狗。

更多完整示例可在笔记本中找到。

可复现性:

我们的SFT评估基于VLMEvalKit，其中我们修复了与官方基准测试（如LLM评判API）的一些不一致之处。在开发过程中，我们注意到输入图像的原始分辨率在某些情况下会显著影响模型输出。

偏见、风险、限制和伦理考量

主要数据来源包括互联网上的网页、图片库网站以及研究社区发布的精选数据集。由于已知的CSAM问题，我们排除了某些数据，如LAION。 模型可能受到原始数据源的偏见以及LLMs和商业API的偏见影响。 我们强烈建议用户在下游应用前评估安全性和公平性。

伦理考量

此版本仅用于支持学术论文的研究目的。我们的模型、数据集和代码并非为所有下游用途专门设计或评估。我们强烈建议用户在部署此模型前评估并解决与准确性、安全性和公平性相关的潜在问题。我们鼓励用户考虑AI的常见限制，遵守适用法律，并在选择用例时采用最佳实践，特别是对于错误或滥用可能严重影响人们生活、权利或安全的高风险场景。有关用例的进一步指导，请参阅我们的AUP和AI AUP。

许可证

我们的代码和权重根据知识共享署名非商业4.0许可证发布。如需商业使用模型权重，请填写此表格。

代码致谢

LAVIS
openflamingo
VLMEvalKit

引用

@misc{xue2024xgenmmblip3familyopen,
      title={xGen-MM (BLIP-3): 一个开放的大型多模态模型家族}, 
      author={Le Xue and Manli Shu and Anas Awadalla and Jun Wang and An Yan and Senthil Purushwalkam and Honglu Zhou and Viraj Prabhu and Yutong Dai and Michael S Ryoo and Shrikant Kendre and Jieyu Zhang and Can Qin and Shu Zhang and Chia-Chih Chen and Ning Yu and Juntao Tan and Tulika Manoj Awalgaonkar and Shelby Heinecke and Huan Wang and Yejin Choi and Ludwig Schmidt and Zeyuan Chen and Silvio Savarese and Juan Carlos Niebles and Caiming Xiong and Ran Xu},
      year={2024},
      eprint={2408.08872},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2408.08872}, 
}

故障排除

1. 如果缺少任何包，请考虑以下安装：

pip install torch==2.2.1 torchvision==0.17.1 torchaudio==2.2.1 --index-url https://download.pytorch.org/whl/cu121
pip install open_clip_torch==2.24.0
pip install einops
pip install einops-exts
pip install transformers==4.41.1

更新日志

• 2024年5月24日
  • 更新代码库以兼容transformers==4.41.1。