许可协议: MIT 基础模型:

• microsoft/Florence-2-large 数据集:
• Ejafa/ye-pop 标签:
• 艺术 管道标签: 图像转文本 语言:
• 英语 库名称: transformers

基于Ejafa/ye-pop数据集并使用CogVLM2标注的microsoft/Florence-2-large微调模型

本仓库包含microsoft/Florence-2-large模型的微调版本。该模型在Ejafa/ye-pop数据集的4万张图像子集上进行了微调，标注文本由THUDM/cogvlm2-llama3-chat-19B生成。

训练详情

• 视觉编码器: 训练期间视觉编码器参数保持冻结
• 批大小: 64
• 梯度累积步数: 16
• 学习率: 5.12e-05
• 优化器: AdamW
• 调度器: 多项式衰减
• 训练轮数: 8.36

数据集

微调过程使用了Ejafa/ye-pop数据集中的4万张图像子集。该数据集包含题材多样的图像，为提升模型标注能力提供了丰富的训练素材。

标注生成

标注文本由THUDM/cogvlm2-llama3-chat-19B生成，后经google/gemma-2-9b处理以消除模糊表述。

使用方法

可通过Hugging Face模型库直接加载本模型：

from transformers import AutoModelForCausalLM, AutoProcessor, AutoConfig
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = AutoModelForCausalLM.from_pretrained("thwri/CogFlorence-2.2-Large", trust_remote_code=True).to(device).eval()
processor = AutoProcessor.from_pretrained("thwri/CogFlorence-2.2-Large", trust_remote_code=True)
# 运行模型的示例函数
def run_example(task_prompt, image):
    prompt = task_prompt
    # 确保图像为RGB模式
    if image.mode != "RGB":
        image = image.convert("RGB")
    inputs = processor(text=prompt, images=image, return_tensors="pt").to(device)
    generated_ids = model.generate(
        input_ids=inputs["input_ids"],
        pixel_values=inputs["pixel_values"],
        max_new_tokens=1024,
        num_beams=3,
        do_sample=True
    )
    generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]
    parsed_answer = processor.post_process_generation(generated_text, task=task_prompt, image_size=(image.width, image.height))
    return parsed_answer
from PIL import Image
import requests
import copy
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)
result = run_example("<更详细标注>", image)
print(result)
# {'<更详细标注>': '一幅经典大众甲壳虫停在鹅卵石街道上的生动画面。车辆涂装为鲜艳的绿松石色，与后方建筑的暗黄色形成鲜明对比。建筑有两扇木门，一扇配白色门框，另一扇为深棕色。天空晴朗，阳光为场景投射温暖光晕，突显了车辆的细节。图像唤起怀旧情绪，捕捉了未经摆拍的真实瞬间。'}