许可证：Apache-2.0
语言：英文

ChartVE（图表视觉蕴含模型）

ChartVE是一种视觉蕴含模型，首次发布于论文《LVLMs能理解图表吗？分析与修正图表描述中的事实性错误》，用于评估生成标题句子相对于输入图表的事实准确性。该模型接收一张图表图像和一句标题作为输入，输出一个蕴含概率。计算蕴含概率的方法请参考下文“使用方法”部分。该模型的基础架构为UniChart。

请注意，本模型预期接收单句标题作为文本输入。若标题包含多句，需将其拆分为单句后分别输入ChartVE，再汇总得分。下方提供了ChartVE的使用示例。

使用方法

直接使用预训练模型：

from transformers import DonutProcessor, VisionEncoderDecoderModel  
from PIL import Image  

model_name = "khhuang/chartve"  
model = VisionEncoderDecoderModel.from_pretrained(model_name).cuda()  
processor = DonutProcessor.from_pretrained(model_name)  

image_path = "图片路径"  

def 格式化查询(句子):  
    return f"图像是否蕴含此陈述：\"{句子}\"？"  

# 格式化文本输入  
标题句子 = "人口数量最高的州是加利福尼亚州。"  
查询 = 格式化查询(标题句子)  

# 编码图表并分词文本  
img = Image.open(图片路径)  
像素值 = processor(img.convert("RGB"), random_padding=False, return_tensors="pt").pixel_values  
像素值 = 像素值.cuda()  
解码器输入ID = processor.tokenizer(查询, add_special_tokens=False, return_tensors="pt", max_length=510).input_ids.cuda()  

输出 = model(像素值, decoder_input_ids=解码器输入ID)  

# 正向逻辑值 = 输出['logits'].squeeze()[-1,49922]  
# 负向逻辑值 = 输出['logits'].squeeze()[-1,2334]   

# 计算生成"是"的概率  
二元蕴含概率_正向 = torch.nn.functional.softmax(输出['logits'].squeeze()[-1,[2334, 49922]])[1].item()  

# binary_entail_prob_positive 即图表蕴含标题句子的概率值  

引用

@misc{huang-etal-2023-do,  
    title = "Do LVLMs Understand Charts? Analyzing and Correcting Factual Errors in Chart Captioning",  
    author = "Huang, Kung-Hsiang and  
      Zhou, Mingyang and  
      Chan, Hou Pong and  
      Fung, Yi R. and  
      Wang, Zhenhailong and  
      Zhang, Lingyu and  
      Chang, Shih-Fu and  
      Ji, Heng",  
    year={2023},  
    eprint={2312.10160},  
    archivePrefix={arXiv},  
    primaryClass={cs.CL}  
}