许可证: MIT
语言:

• 日语

Donut (基础尺寸模型，基于视觉小说风格合成数据集微调)

该模型是在视觉小说风格图像的合成数据集上对naver-clova-ix/donut-base进行训练的成果。

使用方法

请参考示例笔记本sample_predictions_colab.ipynb。

oshizo/donut-base-japanese-visual-novel

识别结果示例

{'options': '', 'names': '结月', 'messages': '这座神社有一个古老的传说。在神树下立下誓言，愿望必定会实现。敞开心扉，试着相信自己的心意。'}

{'options': ['出发吧!', '这次先不去了', '等准备好再行动(退出对话)', '详细告诉我旅行的目的'], 'names': '莉莉安', 'messages': '我们的使命是通过新的发现与交流，为地球与宇宙的未来奠定基础。你准备好加入这场壮阔的旅程了吗?'}

{'options': ['全力进攻!夺取胜利!', '稳守反击，等待敌人破绽'], 'names': '', 'messages': '诱敌深入，运用战术。'}

{'options': '当然，我来帮忙!', 'names': '下尾崎 菊欠郎', 'messages': '这间书房可能藏着重要线索。你愿意协助我吗?'}

技术规格

• 不识别注音假名。即使显示注音，目标是不受其影响准确读取正文。
• 目标尽量避免读取SAVE、LOAD等UI元素及"第2天"、"4/3"等日期显示。
• 输出包含options、names、messages三个键的JSON格式。

训练包含的布局

训练数据包含以下布局及其缺失对应模式的变体：

训练未包含的布局

以下模式等未包含在训练数据中，可能无法准确识别：

其他限制

• 仅在1920px宽、1080px高的图像上进行训练和评估，纵横比差异过大时识别精度可能下降。
• 解码器的tokenizer基于XLMRobertaTokenizer并额外添加约1500种日语汉字。部分汉字可能因未包含在tokenizer中而无法输出。

训练方法

更详细信息请参阅以下note文章：
端到端文档图像识别模型Donut微调笔记