语言:
许可证: mit
标签:
- 目标检测
- 视觉
- 训练生成
- DocLayNet
- COCO
- PDF
- IBM
- 财务报告
- 金融
- 手册
- 科学文章
- 科学
- 法律
- 法规
- 专利
- 政府招标
- 目标检测
- 图像分割
- 标记分类
推理: false
数据集:
- pierreguillou/DocLayNet-base
指标:
模型索引:
- 名称: lilt-xlm-roberta-base-finetuned-with-DocLayNet-base-at-paragraphlevel-ml512
结果:
- 任务:
名称: 标记分类
类型: 标记分类
指标:
- 名称: F1值
类型: f1
值: 0.8634
- 名称: 准确率
类型: 准确率
值: 0.8634
文档理解模型（基于DocLayNet基础数据在段落级别微调的LiLT基础模型）
此模型是基于nielsr/lilt-xlm-roberta-base使用DocLayNet基础数据集微调后的版本。
在评估集上取得了以下结果:
- 损失: 0.4104
- 精确度: 0.8634
- 召回率: 0.8634
- F1值: 0.8634
- 标记准确率: 0.8634
- 段落准确率: 0.6815
段落级别准确率
- 段落准确率: 68.15%
- 按标签准确率
- 标题: 22.82%
- 脚注: 0.0%
- 公式: 97.33%
- 列表项: 8.42%
- 页脚: 98.77%
- 页眉: 77.81%
- 图片: 39.16%
- 节标题: 76.17%
- 表格: 37.7%
- 文本: 86.78%
- 主标题: 0.0%
参考文献
博客文章
笔记本（段落级别）
笔记本（行级别）
应用
您可以在Hugging Face Spaces中测试此模型：段落级别文档理解的推理应用（v1）。
您也可以运行相应的笔记本：文档AI | 使用文档理解模型（基于DocLayNet数据集微调的LiLT）的段落级别推理应用
DocLayNet数据集
DocLayNet数据集（IBM）提供了80863个独特页面的逐页布局分割真实标注，使用边界框标注了11个不同的类别标签，涵盖6种文档类别。
目前，可以通过直接链接或Hugging Face数据集库下载该数据集：
论文: DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis (2022年6月2日)
模型描述
该模型在**段落级别上以512个标记块（重叠128个标记）**进行了微调。因此，模型训练时使用了数据集中所有页面的布局和文本数据。
在推理时，通过计算最佳概率为每个段落边界框分配标签。
推理
参见笔记本: 文档AI | 使用文档理解模型（基于DocLayNet数据集微调的LiLT）的段落级别推理
训练和评估数据
参见笔记本: 文档AI | 在任意语言中以段落级别（512个标记块，重叠）微调LiLT于DocLayNet基础数据集
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率: 2e-05
- 训练批次大小: 8
- 评估批次大小: 16
- 随机种子: 42
- 优化器: Adam，参数为betas=(0.9,0.999)，epsilon=1e-08
- 学习率调度器类型: 线性
- 训练轮数: 1
- 混合精度训练: Native AMP
训练结果
| 训练损失 |
轮次 |
步数 |
验证损失 |
精确度 |
召回率 |
F1值 |
准确率 |
| 无日志 |
0.05 |
100 |
0.9875 |
0.6585 |
0.6585 |
0.6585 |
0.6585 |
| 无日志 |
0.11 |
200 |
0.7886 |
0.7551 |
0.7551 |
0.7551 |
0.7551 |
| 无日志 |
0.16 |
300 |
0.5894 |
0.8248 |
0.8248 |
0.8248 |
0.8248 |
| 无日志 |
0.21 |
400 |
0.4794 |
0.8396 |
0.8396 |
0.8396 |
0.8396 |
| 0.7446 |
0.27 |
500 |
0.3993 |
0.8703 |
0.8703 |
0.8703 |
0.8703 |
| 0.7446 |
0.32 |
600 |
0.3631 |
0.8857 |
0.8857 |
0.8857 |
0.8857 |
| 0.7446 |
0.37 |
700 |
0.4096 |
0.8630 |
0.8630 |
0.8630 |
0.8630 |
| 0.7446 |
0.43 |
800 |
0.4492 |
0.8528 |
0.8528 |
0.8528 |
0.8528 |
| 0.7446 |
0.48 |
900 |
0.3839 |
0.8834 |
0.8834 |
0.8834 |
0.8834 |
| 0.4464 |
0.53 |
1000 |
0.4365 |
0.8498 |
0.8498 |
0.8498 |
0.8498 |
| 0.4464 |
0.59 |
1100 |
0.3616 |
0.8812 |
0.8812 |
0.8812 |
0.8812 |
| 0.4464 |
0.64 |
1200 |
0.3949 |
0.8796 |
0.8796 |
0.8796 |
0.8796 |
| 0.4464 |
0.69 |
1300 |
0.4184 |
0.8613 |
0.8613 |
0.8613 |
0.8613 |
| 0.4464 |
0.75 |
1400 |
0.4130 |
0.8743 |
0.8743 |
0.8743 |
0.8743 |
| 0.3672 |
0.8 |
1500 |
0.4535 |
0.8289 |
0.8289 |
0.8289 |
0.8289 |
| 0.3672 |
0.85 |
1600 |
0.3681 |
0.8713 |
0.8713 |
0.8713 |
0.8713 |
| 0.3672 |
0.91 |
1700 |
0.3446 |
0.8857 |
0.8857 |
0.8857 |
0.8857 |
| 0.3672 |
0.96 |
1800 |
0.4104 |
0.8634 |
0.8634 |
0.8634 |
0.8634 |
框架版本
- Transformers 4.26.1
- Pytorch 1.13.1+cu116
- Datasets 2.9.0
- Tokenizers 0.13.2
其他模型
Transformers%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)