BLIP Math

由 uf-aice-lab 开发

基于数学多模态数据集微调的视觉语言模型，具备文本生成和评分功能，专为数学题目分析与反馈设计

图像生成文本

Transformers

开源协议:Bsd-3-clause #数学题解答评估 #多模态图像文本处理 #手写识别反馈

下载量 77

发布时间 : 9/14/2023

模型介绍

内容详情

替代品

模型简介

该模型是BLIP框架的数学专用版本，通过微调增加了评分模块，支持对数学题目文本、学生作答和手写图像的联合分析，可生成反馈建议

模型特点

双输出头设计

同时具备文本生成和评分功能，可输出描述性反馈和量化评分

数学专用优化

基于数学多模态数据集微调，擅长处理数学题目和手写解答

多模态输入处理

支持题目文本、学生作答、题目图像和学生手写图像四种输入源的联合分析

模型能力

图像描述生成

手写数学公式识别

解题过程分析

自动评分

教学反馈生成

使用案例

教育科技

自动批改数学作业

通过分析学生手写解答图像和文本答案，自动生成评分和反馈

提高教师批改效率，提供即时学习反馈

智能辅导系统

识别学生解题过程中的错误步骤，生成针对性指导建议

个性化学习支持，提升学习效果

pipeline_tag: 图像转文本 tags:

图像描述生成 languages:
英文 license: bsd-3-clause

BLIP - 数学专用版

我们的模型基于数学多模态数据集微调，包含两个输出头：文本生成和评分模块。我们提供了模型文本生成部分的权重文件'pytorch_model.bin'。

使用本模型需要4个输入源，包括两个文本输入和两个图像输入：'problem_body'（题目正文）、'student_response'（学生作答）、'question_image'（题目图像）和'student_image'（学生手写图像）。

执行条件文本生成时需注意：

文本按以下方式拼接： text = '题目：' + ' ' + [题目正文] + ' ' + '学生：' + [学生作答] + ' ' + '反馈：'
将[题目图像]和[学生手写图像]纵向拼接，保持题目图像在上方，并取两者中较大的图像尺寸

其他使用方式与标准BLIP模型操作流程一致。

如有进一步问题或需要具体代码实现指导，欢迎随时咨询。

BLIP：语言-图像预训练的统一框架（视觉语言理解与生成）

基于COCO数据集预训练的图像描述生成模型卡片 - 基础架构（采用ViT基础骨干网络）。


图表引自BLIP官方仓库

摘要速览

论文作者在原文摘要中写道：

视觉语言预训练(VLP)推动了多模态任务性能的提升。但现有预训练模型往往仅擅长理解型或生成型单一任务，且性能改进主要依赖网络爬取的海量噪声图文数据——这种监督信号质量欠佳。本文提出BLIP新型VLP框架，可灵活迁移至视觉语言理解与生成双任务。通过"标题自举"机制（生成器合成描述+过滤器去噪），BLIP实现了对噪声网络数据的高效利用。我们在图像文本检索（平均召回率@1提升2.7%）、图像描述生成（CIDEr指标提升2.8%）和视觉问答（VQA分数提升1.6%）等任务上取得SOTA结果。BLIP在零样本迁移至视频语言任务时也展现出强大泛化能力。相关代码、模型及数据集均已开源。

使用指南

本模型支持条件/非条件图像描述生成

PyTorch模型调用

CPU环境运行

点击展开

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

# 条件式图像描述
text = "一张"
inputs = processor(raw_image, text, return_tensors="pt")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
# >>> 一张女士与狗的合影

# 非条件式图像描述
inputs = processor(raw_image, return_tensors="pt")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
>>> 女士带着狗坐在沙滩上

GPU环境运行

全精度模式

点击展开

import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base").to("cuda")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

# 条件式图像描述
text = "一张"
inputs = processor(raw_image, text, return_tensors="pt").to("cuda")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
# >>> 一张女士与狗的合影

# 非条件式图像描述
inputs = processor(raw_image, return_tensors="pt").to("cuda")

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
>>> 女士带着狗坐在沙滩上

半精度模式(`float16`)

点击展开

import torch
import requests
from PIL import Image
from transformers import BlipProcessor, BlipForConditionalGeneration

processor = BlipProcessor.from_pretrained("Salesforce/blip-image-captioning-base")
model = BlipForConditionalGeneration.from_pretrained("Salesforce/blip-image-captioning-base", torch_dtype=torch.float16).to("cuda")

img_url = 'https://storage.googleapis.com/sfr-vision-language-research/BLIP/demo.jpg' 
raw_image = Image.open(requests.get(img_url, stream=True).raw).convert('RGB')

# 条件式图像描述
text = "一张"
inputs = processor(raw_image, text, return_tensors="pt").to("cuda", torch.float16)

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
# >>> 一张女士与狗的合影

# 非条件式图像描述
inputs = processor(raw_image, return_tensors="pt").to("cuda", torch.float16)

out = model.generate(**inputs)
print(processor.decode(out[0], skip_special_tokens=True))
>>> 女士带着狗坐在沙滩上

引用文献

@misc{https://doi.org/10.48550/arxiv.2201.12086,
  doi = {10.48550/ARXIV.2201.12086},
  
  url = {https://arxiv.org/abs/2201.12086},
  
  author = {Li, Junnan and Li, Dongxu and Xiong, Caiming and Hoi, Steven},
  
  keywords = {计算机视觉与模式识别(cs.CV), 计算机与信息科学, 计算机与信息科学},
  
  title = {BLIP：语言-图像预训练的统一框架（视觉语言理解与生成）},
  
  publisher = {arXiv},
  
  year = {2022},
  
  copyright = {知识共享署名4.0国际许可协议}
}