🚀 🖼️🔗 图表转知识图谱模型

本模型是一个研究驱动的项目，由 Zackariya Solution 实习期间开发。它专注于从图像中提取结构化数据（JSON），特别是节点、边及其子属性，将视觉信息表示为知识图谱。

🚀 注意：本模型仅用于学习目的，不用于生产应用。提取的结构化数据可能会根据项目需求有所不同。

🚀 快速开始

安装依赖

%pip install -q "transformers>=4.49.0" accelerate datasets "qwen-vl-utils[decord]==0.0.8"

运行推理代码

import os
import PIL
import torch
from qwen_vl_utils import process_vision_info
from transformers import Qwen2_5_VLForConditionalGeneration, Qwen2_5_VLProcessor


MODEL_ID="zackriya/diagram2graph-adapters"
MAX_PIXELS = 1280 * 28 * 28
MIN_PIXELS = 256 * 28 * 28


model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    MODEL_ID,
    device_map="auto",
    torch_dtype=torch.bfloat16
)

processor = Qwen2_5_VLProcessor.from_pretrained(
    MODEL_ID,
    min_pixels=MIN_PIXELS,
    max_pixels=MAX_PIXELS
)


SYSTEM_MESSAGE = """You are a Vision Language Model specialized in extracting structured data from visual representations of process and flow diagrams.
Your task is to analyze the provided image of a diagram and extract the relevant information into a well-structured JSON format.
The diagram includes details such as nodes and edges. each of them have their own attributes.
Focus on identifying key data fields and ensuring the output adheres to the requested JSON structure.
Provide only the JSON output based on the extracted information. Avoid additional explanations or comments."""

def run_inference(image):
    messages= [
        {
            "role": "system",
            "content": [{"type": "text", "text": SYSTEM_MESSAGE}],
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    # this image is handled by qwen_vl_utils's process_visio_Info so no need to worry about pil image or path
                    "image": image,
                },
                {
                    "type": "text",
                    "text": "Extract data in JSON format, Only give the JSON",
                },
            ],
        },
    ]

    text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
    image_inputs, _ = process_vision_info(messages)

    inputs = processor(
        text=[text],
        images=image_inputs,
        return_tensors="pt",
    )
    inputs = inputs.to('cuda')

    generated_ids = model.generate(**inputs, max_new_tokens=512)
    generated_ids_trimmed = [
        out_ids[len(in_ids):]
        for in_ids, out_ids
        in zip(inputs.input_ids, generated_ids)
    ]

    output_text = processor.batch_decode(
        generated_ids_trimmed,
        skip_special_tokens=True,
        clean_up_tokenization_spaces=False
    )
    return output_text
image = eval_dataset[9]['image'] # PIL image
# `image` could be URL or relative path to the image
output = run_inference(image)

# JSON loading
import json
json.loads(output[0])

✨ 主要特性

• 专注于从图像中提取结构化数据（JSON），将视觉信息表示为知识图谱。
• 可用于图表转知识图谱的实验和理解AI驱动的图像结构化提取。

📋 模型详情

🎯 使用场景

✅ 直接使用

• 进行图表转知识图谱的实验 📊
• 理解图像的AI驱动结构化提取

🚀 下游使用（潜在）

• 增强 BPMN/流程图 分析 🏗️
• 支持 自动化文档处理 📄

❌ 不适用场景

• 不适用于实际生产部署 ⚠️
• 可能无法在所有图表类型上很好地泛化

🏗️ 训练详情

• 数据集：内部整理的图表数据集 🖼️
• 微调方法：基于LoRA的优化 ⚡
• 精度：bf16混合精度训练 🎯

📈 评估

评估指标

• 指标：F1分数 🏆
• 局限性：可能在处理复杂、密集的图表时遇到困难 ⚠️

评估结果

• 节点检测提高了14%
• 边检测提高了23%

🤝 合作

如果您有兴趣针对自己的用例微调模型，或者想了解我们如何提供帮助，欢迎合作。

Zackriya Solutions

🔗 参考资料

• Roboflow
• Qwen

🚀保持好奇，不断探索！🚀