许可证：apache-2.0
语言：

• 韩语
• 英语
  任务标签：视觉问答
  标签：
• 文本生成文本
  基础模型：google/deplot

ko-deplot

ko-deplot是基于谷歌Pix2Struct架构的韩语视觉问答模型。该模型通过使用韩语图表图像-文本对数据对Deplot进行微调训练而成。

• 开发团队：NUUA
• **模型类型：**视觉问答
• **许可证：**apache-2.0
• 微调基础模型：google/deplot

模型使用

可通过以下代码输入图像和问题执行预测：

from transformers import Pix2StructProcessor, Pix2StructForConditionalGeneration  
from PIL import Image  

processor = Pix2StructProcessor.from_pretrained('nuua/ko-deplot')  
model = Pix2StructForConditionalGeneration.from_pretrained('nuua/ko-deplot')  

IMAGE_PATH = "本地图像路径"  
image = Image.open(IMAGE_PATH)  

inputs = processor(images=image, text="生成下图的基础数据表：", return_tensors="pt")  
predictions = model.generate(**inputs, max_new_tokens=512)  
print(processor.decode(predictions[0], skip_special_tokens=True))  

分词器细节

模型的分词器词汇表从50,344个扩展到65,536个，扩展依据包括：

• 完整韩文字母
• 扩展韩文字母集
• Ko-Electra分词单元

训练细节

训练数据

使用三个库生成的合成图表数据：

• GenPlot
• Chart.js
• Plotly

训练流程

模型首先按照原论文进行短暂预热训练，随后使用图表数据训练50,000步。

技术规格

硬件配置

使用A100 80G GPU完成训练。

联系我们

如有疑问或建议，请使用讨论区功能。若需直接联系，请发送邮件至robin@nuua.ai。