许可证: mit 基础模型:

• microsoft/Florence-2-large 数据集:
• Ejafa/ye-pop 标签:
• 艺术 管道标签: 图像转文本 语言:
• 英语 库名称: transformers

基于CogVLM2标注的Ejafa/ye-pop数据集微调的microsoft/Florence-2-large模型

本仓库包含microsoft/Florence-2-large模型的微调版本。该模型在Ejafa/ye-pop数据集的38,000张图像子集上进行了调优，并使用THUDM/cogvlm2-llama3-chat-19B生成了对应的标注。

训练详情

• 视觉编码器: 训练期间视觉编码器参数被冻结
• 批大小: 32
• 梯度累积步数: 8
• 学习率: 4.2667e-5
• 优化器: AdamW
• 调度器: 线性
• 训练轮数: 7

数据集

微调过程使用了Ejafa/ye-pop数据集的38,000张图像子集。该数据集包含各类主题的多样化图像，为提升模型的标注能力提供了坚实的训练基础。

标注生成

所有标注均由THUDM/cogvlm2-llama3-chat-19B模型生成。

使用方式

可通过Hugging Face模型中心直接加载本模型：

from transformers import AutoModelForCausalLM, AutoProcessor, AutoConfig
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model = AutoModelForCausalLM.from_pretrained("thwri/CogFlorence-2-Large-Freeze", trust_remote_code=True).to(device).eval()
processor = AutoProcessor.from_pretrained("thwri/CogFlorence-2-Large-Freeze", trust_remote_code=True)

# 运行模型的示例函数
def run_example(task_prompt, image):
    prompt = task_prompt

    # 确保图像为RGB模式
    if image.mode != "RGB":
        image = image.convert("RGB")

    inputs = processor(text=prompt, images=image, return_tensors="pt").to(device)
    generated_ids = model.generate(
        input_ids=inputs["input_ids"],
        pixel_values=inputs["pixel_values"],
        max_new_tokens=1024,
        num_beams=3,
        do_sample=True
    )
    generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]
    parsed_answer = processor.post_process_generation(generated_text, task=task_prompt, image_size=(image.width, image.height))
    return parsed_answer

from PIL import Image
import requests
import copy

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"
image = Image.open(requests.get(url, stream=True).raw)
result = run_example("<更详细的标注>", image)
print(result)

# 输出示例: {'<更详细的标注>': '一辆青绿色大众甲壳虫停放在铺着鹅卵石的街道上，背景是带有两扇木门的黄色墙壁。车身采用鲜艳的蓝绿色喷漆，光滑表面反射着阳光，轮毂配有银色轮毂盖。后方建筑呈现风化老旧的外观，可见裂缝和剥落的油漆。上方天空晴朗湛蓝，暗示着阳光明媚的天气。'}