模型简介
模型特点
模型能力
使用案例
🚀 Florence-2:推进多种视觉任务的统一表示
Florence-2是一个先进的视觉基础模型,采用基于提示的方法来处理广泛的视觉和视觉语言任务。它能够解释简单的文本提示,执行诸如图像描述、目标检测和分割等任务。该模型利用包含54亿个注释的FLD - 5B数据集进行多任务学习,其序列到序列的架构使其在零样本和微调设置中都表现出色。
🚀 快速开始
使用以下代码开始使用该模型。所有模型均使用float16进行训练。
基础用法
import requests
from PIL import Image
import torch
from transformers import AutoProcessor, AutoModelForCausalLM
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model = AutoModelForCausalLM.from_pretrained(
"mrhendrey/Florence-2-large-ft-safetensors",
torch_dtype=torch_dtype,
trust_remote_code=True,
use_safetensors=True
).to(device)
processor = AutoProcessor.from_pretrained(
"mrhendrey/Florence-2-large-ft-safetensors", trust_remote_code=True
)
prompt = "<OD>"
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(
text=prompt, images=image, return_tensors="pt"
).to(device, torch_dtype)
generated_ids = model.generate(
input_ids=inputs["input_ids"],
pixel_values=inputs["pixel_values"],
max_new_tokens=1024,
do_sample=False,
num_beams=3
)
generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]
parsed_answer = processor.post_process_generation(
generated_text, task="<OD>", image_size=(image.width, image.height)
)
print(parsed_answer)
高级用法(利用批处理)
import requests
from PIL import Image
import torch
from transformers import AutoProcessor, AutoModelForCausalLM
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model = AutoModelForCausalLM.from_pretrained(
"mrhendrey/Florence-2-large-ft-safetensors",
torch_dtype=torch_dtype,
trust_remote_code=True,
use_safetensors=True
).to(device)
processor = AutoProcessor.from_pretrained(
"mrhendrey/Florence-2-large-ft-safetensors", trust_remote_code=True
)
prompts = ["<OD>", "<CAPTION>"]
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)
inputs = processor(
text=prompts, images=[image]*2, return_tensors="pt", padding=True
).to(device, torch_dtype)
generated_ids = model.generate(
input_ids=inputs["input_ids"],
pixel_values=inputs["pixel_values"],
attention_mask=inputs["attention_mask"],
max_new_tokens=1024,
do_sample=False,
num_beams=3
)
generated_texts = processor.batch_decode(generated_ids, skip_special_tokens=False)
parsed_answers = [
processor.post_process_generation(
gen_text, task=prompt, image_size=(image.width, image.height)
) for gen_text, prompt in zip(generated_texts, prompts)
]
print(parsed_answers[0])
print(parsed_answers[1])
✨ 主要特性
对原模型的修改
这是Florence - 2 - large - ft的修改版本。原始模型在使用Huggingface Space Safetensors/convert转换为safetensors时失败,原因是一些数据指针不一致。convert_to_safetensors.py
脚本进行了最小化的修改以实现转换为safetensors。它会检查生成的张量是否相等,并针对下面列出的单张图像进行验证,以确保.bin
和.safetensors
提供相同的输出。
仅修改了modeling_florence2.py
文件:
- 添加了缺失的
Florence2LanguageForConditionalGeneration._tie_weights()
方法。 - 将
GenerationMixin
作为Florence2LanguageForConditionalGeneration
和Florence2ForConditionalGeneration
的父类,以避免从v4.50起PreTrainedModel
将不再继承GenerationMixin
的弃用警告。 - 为
generate()
函数添加了@torch.no_grad()
装饰器,以遵循标准的transformers使用方式,关闭梯度累积。否则,每次批量大小增加1时,VRAM使用量会显著增加。 - 根据pawlowskipawel的PR修复了批量注意力掩码问题。
- 根据弃用警告更改了timm的导入方式。
模型概述
此Hub仓库包含了微软Florence - 2模型的HuggingFace transformers
实现。
Florence - 2是一个先进的视觉基础模型,它使用基于提示的方法来处理广泛的视觉和视觉语言任务。它可以解释简单的文本提示,执行如图像描述、目标检测和分割等任务。该模型利用包含54亿个注释的FLD - 5B数据集进行多任务学习,其序列到序列的架构使其在零样本和微调设置中都表现出色,是一个极具竞争力的视觉基础模型。
资源和技术文档:
模型信息
属性 | 详情 |
---|---|
模型类型 | 此Hub仓库包含微软Florence - 2模型的HuggingFace transformers 实现 |
训练数据 | 利用包含54亿个注释的FLD - 5B数据集进行多任务学习 |
支持的任务
此模型能够通过更改提示来执行不同的任务。
首先,定义一个运行提示的函数:
点击展开
import requests
from PIL import Image
import torch
from transformers import AutoProcessor, AutoModelForCausalLM
device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32
model = AutoModelForCausalLM.from_pretrained(
"mrhendrey/Florence-2-large-ft-safetensors",
torch_dtype=torch_dtype,
trust_remote_code=True,
use_safetensors=True
).to(device)
processor = AutoProcessor.from_pretrained(
"mrhendrey/Florence-2-large-ft-safetensors", trust_remote_code=True
)
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)
def run_example(task_prompt, text_input=None):
if text_input is None:
prompt = task_prompt
else:
prompt = task_prompt + text_input
inputs = processor(
text=prompt, images=image, return_tensors="pt"
).to(device, torch_dtype)
generated_ids = model.generate(
input_ids=inputs["input_ids"],
pixel_values=inputs["pixel_values"],
max_new_tokens=1024,
num_beams=3
)
generated_text = processor.batch_decode(
generated_ids, skip_special_tokens=False
)[0]
parsed_answer = processor.post_process_generation(
generated_text, task=task_prompt, image_size=(image.width, image.height)
)
print(parsed_answer)
以下是Florence - 2
可以执行的任务:
点击展开
图像描述
prompt = "<CAPTION>"
run_example(prompt)
详细图像描述
prompt = "<DETAILED_CAPTION>"
run_example(prompt)
更详细的图像描述
prompt = "<MORE_DETAILED_CAPTION>"
run_example(prompt)
图像描述到短语定位
图像描述到短语定位任务需要额外的文本输入,即图像描述。
图像描述到短语定位结果格式: {'<CAPTION_TO_PHRASE_GROUNDING>': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['', '', ...]}}
task_prompt = "<CAPTION_TO_PHRASE_GROUNDING>"
results = run_example(
task_prompt, text_input="A green car parked in front of a yellow building."
)
目标检测
OD结果格式:
{'
prompt = "<OD>"
run_example(prompt)
密集区域描述
密集区域描述结果格式: {'<DENSE_REGION_CAPTION>' : {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['label1', 'label2', ...]} }
prompt = "<DENSE_REGION_CAPTION>"
run_example(prompt)
区域提议
密集区域描述结果格式: {'<REGION_PROPOSAL>': {'bboxes': [[x1, y1, x2, y2], ...], 'labels': ['', '', ...]}}
prompt = "<REGION_PROPOSAL>"
run_example(prompt)
OCR
prompt = "<OCR>"
run_example(prompt)
带区域的OCR
带区域的OCR输出格式: {'<OCR_WITH_REGION>': {'quad_boxes': [[x1, y1, x2, y2, x3, y3, x4, y4], ...], 'labels': ['text1', ...]}}
prompt = "<OCR_WITH_REGION>"
run_example(prompt)
更多详细示例,请参考notebook
📚 详细文档
零样本性能
以下表格展示了通用视觉基础模型在图像描述和目标检测评估任务上的零样本性能。这些模型在训练阶段未接触评估任务的训练数据。
方法 | 参数量 | COCO Cap. test CIDEr | NoCaps val CIDEr | TextCaps val CIDEr | COCO Det. val2017 mAP |
---|---|---|---|---|---|
Flamingo | 80B | 84.3 | - | - | - |
Florence - 2 - base | 0.23B | 133.0 | 118.7 | 70.1 | 34.7 |
Florence - 2 - large | 0.77B | 135.6 | 120.8 | 72.8 | 37.5 |
以下表格继续比较了在其他视觉语言评估任务上的性能。
方法 | Flickr30k test R@1 | Refcoco val Accuracy | Refcoco test - A Accuracy | Refcoco test - B Accuracy | Refcoco+ val Accuracy | Refcoco+ test - A Accuracy | Refcoco+ test - B Accuracy | Refcocog val Accuracy | Refcocog test Accuracy | Refcoco RES val mIoU |
---|---|---|---|---|---|---|---|---|---|---|
Kosmos - 2 | 78.7 | 52.3 | 57.4 | 47.3 | 45.5 | 50.7 | 42.2 | 60.6 | 61.7 | - |
Florence - 2 - base | 83.6 | 53.9 | 58.4 | 49.7 | 51.5 | 56.4 | 47.9 | 66.3 | 65.1 | 34.6 |
Florence - 2 - large | 84.4 | 56.3 | 61.6 | 51.4 | 53.6 | 57.9 | 49.9 | 68.0 | 67.0 | 35.8 |
微调性能
我们对Florence - 2模型进行了一系列下游任务的微调,得到了两个通用模型Florence - 2 - base - ft和Florence - 2 - large - ft,它们可以执行广泛的下游任务。
下表比较了专用模型和通用模型在各种图像描述和视觉问答(VQA)任务上的性能。专用模型针对每个任务进行了专门的微调,而通用模型则以与任务无关的方式在所有任务上进行微调。符号“▲”表示使用外部OCR作为输入。
方法 | 参数量 | COCO Caption Karpathy test CIDEr | NoCaps val CIDEr | TextCaps val CIDEr | VQAv2 test - dev Acc | TextVQA test - dev Acc | VizWiz VQA test - dev Acc |
---|---|---|---|---|---|---|---|
专用模型 | |||||||
CoCa | 2.1B | 143.6 | 122.4 | - | 82.3 | - | - |
BLIP - 2 | 7.8B | 144.5 | 121.6 | - | 82.2 | - | - |
GIT2 | 5.1B | 145.0 | 126.9 | 148.6 | 81.7 | 67.3 | 71.0 |
Flamingo | 80B | 138.1 | - | - | 82.0 | 54.1 | 65.7 |
PaLI | 17B | 149.1 | 127.0 | 160.0▲ | 84.3 | 58.8 / 73.1▲ | 71.6 / 74.4▲ |
PaLI - X | 55B | 149.2 | 126.3 | 147.0 / 163.7▲ | 86.0 | 71.4 / 80.8▲ | 70.9 / 74.6▲ |
通用模型 | |||||||
Unified - IO | 2.9B | - | 100.0 | - | 77.9 | - | 57.4 |
Florence - 2 - base - ft | 0.23B | 140.0 | 116.7 | 143.9 | 79.7 | 63.6 | 63.6 |
Florence - 2 - large - ft | 0.77B | 143.3 | 124.9 | 151.1 | 81.7 | 73.5 | 72.6 |
方法 | 参数量 | COCO Det. val2017 mAP | Flickr30k test R@1 | RefCOCO val Accuracy | RefCOCO test - A Accuracy | RefCOCO test - B Accuracy | RefCOCO+ val Accuracy | RefCOCO+ test - A Accuracy | RefCOCO+ test - B Accuracy | RefCOCOg val Accuracy | RefCOCOg test Accuracy | RefCOCO RES val mIoU |
---|---|---|---|---|---|---|---|---|---|---|---|---|
专用模型 | ||||||||||||
SeqTR | - | - | - | 83.7 | 86.5 | 81.2 | 71.5 | 76.3 | 64.9 | 74.9 | 74.2 | - |
PolyFormer | - | - | - | 90.4 | 92.9 | 87.2 | 85.0 | 89.8 | 78.0 | 85.8 | 85.9 | 76.9 |
UNINEXT | 0.74B | 60.6 | - | 92.6 | 94.3 | 91.5 | 85.2 | 89.6 | 79.8 | 88.7 | 89.4 | - |
Ferret | 13B | - | - | 89.5 | 92.4 | 84.4 | 82.8 | 88.1 | 75.2 | 85.8 | 86.3 | - |
通用模型 | ||||||||||||
UniTAB | - | - | - | 88.6 | 91.1 | 83.8 | 81.0 | 85.4 | 71.6 | 84.6 | 84.7 | - |
Florence - 2 - base - ft | 0.23B | 41.4 | 84.0 | 92.6 | 94.8 | 91.5 | 86.8 | 91.7 | 82.2 | 89.8 | 82.2 | 78.0 |
Florence - 2 - large - ft | 0.77B | 43.4 | 85.2 | 93.4 | 95.3 | 92.0 | 88.3 | 92.9 | 83.6 | 91.2 | 91.7 | 80.5 |
📄 许可证
本项目采用MIT许可证,许可证链接。
🔧 技术细节
BibTex引用
@article{xiao2023florence,
title={Florence - 2: Advancing a unified representation for a variety of vision tasks},
author={Xiao, Bin and Wu, Haiping and Xu, Weijian and Dai, Xiyang and Hu, Houdong and Lu, Yumao and Zeng, Michael and Liu, Ce and Yuan, Lu},
journal={arXiv preprint arXiv:2311.06242},
year={2023}
}








