语言:

• 韩语 标签:
• 光学字符识别(OCR) 小部件示例:
• 图片地址: https://raw.githubusercontent.com/ddobokki/ocr_img_example/master/g.jpg 示例标题: 单词1
• 图片地址: https://raw.githubusercontent.com/ddobokki/ocr_img_example/master/khs.jpg 示例标题: 单词2
• 图片地址: https://raw.githubusercontent.com/ddobokki/ocr_img_example/master/m.jpg 示例标题: 单词3 管道标签: 图像转文本 许可证: Apache-2.0

韩语TrOCR模型

• 由于传统TrOCR模型无法识别解码器分词器中不存在的字符，本模型采用支持韩语初声的分词器解码器，确保初声不会显示为UNK未知字符。
• 模型开发运用了2023教元集团AI OCR挑战赛中积累的技术经验。

训练数据集

AI Hub平台:

• 多样化韩文字符OCR数据集
• 公共行政文档OCR数据集

模型架构

• 编码器: trocr-base-stage1的编码器
• 解码器: KR-BERT-char16424模型

使用方法

from transformers import TrOCRProcessor, VisionEncoderDecoderModel, AutoTokenizer
import requests 
import unicodedata
from io import BytesIO
from PIL import Image

# 初始化处理器和模型
processor = TrOCRProcessor.from_pretrained("ddobokki/ko-trocr") 
model = VisionEncoderDecoderModel.from_pretrained("ddobokki/ko-trocr")
tokenizer = AutoTokenizer.from_pretrained("ddobokki/ko-trocr")

# 加载示例图片
url = "https://raw.githubusercontent.com/ddobokki/ocr_img_example/master/g.jpg"
response = requests.get(url)
img = Image.open(BytesIO(response.content))

# 执行OCR识别
pixel_values = processor(img, return_tensors="pt").pixel_values 
generated_ids = model.generate(pixel_values, max_length=64)
generated_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
generated_text = unicodedata.normalize("NFC", generated_text)  # 标准化Unicode字符
print(generated_text)