许可证：apache-2.0
语言：

• 英文
• 中文
  基础模型：
• prithivMLmods/Qwen2-VL-OCR-2B-Instruct
  任务标签：图像转文本
  库名称：transformers
  标签：
• 文本生成推理
• BPE（字节对编码）
• OCR（光学字符识别）

Bpe-vocab-n-OCR

Bpe-vocab-n-OCR 是一款基于OCR的高级文本提取工具，专为生成结构化、分词的输出而优化。该工具基于强大的视觉-语言架构，具备增强的OCR和多语言支持能力，能够从图像中准确提取文本，并以逗号分隔的序列形式返回。

主要增强功能：

• 先进的OCR引擎：通过大量数据集微调，确保精准的文本识别和分词。
• 优化分词输出：生成结构化的逗号分隔文本，非常适合下游NLP任务、自动化流程和数据库集成。
• 增强的多语言OCR支持：支持多种语言的文本提取，包括英语、中文、日语、韩语、阿拉伯语等。
• 多模态处理：无缝处理图像和文本输入，提供结构化的分词输出。
• 安全且优化的模型权重：使用safetensors实现高效、安全的模型加载。

使用方法

from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoProcessor  
from qwen_vl_utils import process_vision_info  

# 加载Bpe-vocab-n-OCR模型（优化参数）  
model = Qwen2VLForConditionalGeneration.from_pretrained(  
    "prithivMLmods/Tokenized-OCR", torch_dtype="auto", device_map="auto"  
)  

# 推荐性能优化加速配置：  
# model = Qwen2VLForConditionalGeneration.from_pretrained(  
#     "prithivMLmods/Tokenized-OCR",  
#     torch_dtype=torch.bfloat16,  
#     attn_implementation="flash_attention_2",  
#     device_map="auto",  
# )  

# 加载默认的Bpe-vocab-n-OCR处理器  
processor = AutoProcessor.from_pretrained("prithivMLmods/Tokenized-OCR")  

# 定义输入消息（包含图像和文本提示）  
messages = [  
    {  
        "role": "user",  
        "content": [  
            {  
                "type": "image",  
                "image": "https://flux-generated.com/sample_image.jpeg",  
            },  
            {"type": "text", "text": "从图像中提取并返回分词的OCR文本，确保每个单词准确识别并以逗号分隔。"},  
        ],  
    }  
]  

# 准备推理输入  
text = processor.apply_chat_template(  
    messages, tokenize=False, add_generation_prompt=True  
)  
image_inputs, video_inputs = process_vision_info(messages)  
inputs = processor(  
    text=[text],  
    images=image_inputs,  
    videos=video_inputs,  
    padding=True,  
    return_tensors="pt",  
)  
inputs = inputs.to("cuda")  

# 生成输出  
generated_ids = model.generate(**inputs, max_new_tokens=256)  
generated_ids_trimmed = [  
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)  
]  
output_text = processor.batch_decode(  
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False  
)  
print(output_text)  

核心功能

1. 高精度OCR处理

   • 以极高精度从图像中提取并分词文本。

2. 多语言文本识别

   • 支持多种语言，确保全面的OCR能力。

3. 逗号分隔的分词输出

   • 生成结构化文本，便于NLP和数据任务处理。

4. 高效的图像与文本处理

   • 同时处理视觉和文本输入，确保OCR提取的准确性。

5. 优化安全部署

   • 使用safetensors增强安全性和模型效率。