许可协议: mit
基础模型:

• microsoft/Florence-2-large
  数据集:
• Ejafa/ye-pop
  标签:
• 艺术
  管道标签: 图像转文本
  语言:
• 英语
  库名称: transformers

基于Ejafa/ye-pop数据集并使用CogVLM2生成标注的microsoft/Florence-2-large微调模型

本仓库包含microsoft/Florence-2-large模型的微调版本。该模型在Ejafa/ye-pop数据集的4万张图像子集上进行了微调，标注由THUDM/cogvlm2-llama3-chat-19B生成。

训练详情

• 视觉编码器: 训练期间视觉编码器被冻结
• 批量大小: 64
• 梯度累积步数: 16
• 学习率: 5.12e-05
• 优化器: AdamW
• 调度器: 多项式
• 训练轮数: 7.37

数据集

微调过程使用了Ejafa/ye-pop数据集中的4万张图像子集。该数据集包含各种主题的多样化图像，为提升模型的标注能力提供了坚实的训练基础。

标注生成

标注由THUDM/cogvlm2-llama3-chat-19B生成。

使用方法

可通过Hugging Face模型中心直接加载此模型：

from transformers import AutoModelForCausalLM, AutoProcessor, AutoConfig  
import torch  
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")  
model = AutoModelForCausalLM.from_pretrained("thwri/CogFlorence-2.1-Large", trust_remote_code=True).to(device).eval()  
processor = AutoProcessor.from_pretrained("thwri/CogFlorence-2.1-Large", trust_remote_code=True)  

# 运行模型的示例函数  
def run_example(task_prompt, image):  
    prompt = task_prompt  
    # 确保图像为RGB模式  
    if image.mode != "RGB":  
        image = image.convert("RGB")  
    inputs = processor(text=prompt, images=image, return_tensors="pt").to(device)  
    generated_ids = model.generate(  
        input_ids=inputs["input_ids"],  
        pixel_values=inputs["pixel_values"],  
        max_new_tokens=1024,  
        num_beams=3,  
        do_sample=True  
    )  
    generated_text = processor.batch_decode(generated_ids, skip_special_tokens=False)[0]  
    parsed_answer = processor.post_process_generation(generated_text, task=task_prompt, image_size=(image.width, image.height))  
    return parsed_answer  

from PIL import Image  
import requests  
import copy  
url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/tasks/car.jpg?download=true"  
image = Image.open(requests.get(url, stream=True).raw)  
result = run_example("<MORE_DETAILED_CAPTION>", image)  
print(result)  
# 输出示例:  
# {'<MORE_DETAILED_CAPTION>': '一张生动的经典汽车特写照片，具体为一辆停放在鹅卵石街道上的大众甲壳虫。车身涂有醒目的绿松石色，光滑的表面反射出周围环境。车辆圆润的造型通过其圆形轮胎和镀铬细节得到强化。背景中一面斑驳的黄墙和一扇质朴的木门为场景增添了乡村魅力。上方晴朗的天空暗示着阳光明媚的天气。图像整体风格为抓拍，捕捉了未经摆拍的真实瞬间。'}