语言:
许可证: mit
标签:
- 目标检测
- 视觉
- 训练生成
- DocLayNet
- COCO
- PDF
- IBM
- 财务报告
- 金融
- 手册
- 科学论文
- 科学
- 法律
- 法规
- 专利
- 政府招标
- 目标检测
- 图像分割
- 标记分类
推理: false
数据集:
- pierreguillou/DocLayNet-base
指标:
模型索引:
- 名称: layout-xlm-base-finetuned-with-DocLayNet-base-at-linelevel-ml384
结果:
- 任务:
名称: 标记分类
类型: 标记分类
指标:
- 名称: F1值
类型: F1值
值: 0.7336
- 名称: 准确率
类型: 准确率
值: 0.9373
文档理解模型（基于LayoutXLM基础模型在DocLayNet基础数据集上微调至行级别）
此模型是基于microsoft/layoutxlm-base在DocLayNet基础数据集上微调的版本。在评估集上取得了以下结果：
- 损失: 0.2364
- 精确率: 0.7260
- 召回率: 0.7415
- F1值: 0.7336
- 准确率: 0.9373
参考文献
博客文章
笔记（段落级别）
笔记（行级别）
应用
您可以在Hugging Face Spaces上测试此模型：行级别文档理解推理应用（v2）。
DocLayNet数据集
DocLayNet数据集（IBM）提供了80863个独特页面的逐页布局分割真实标注，使用边界框标注了6个文档类别中的11个不同类别标签。
目前，该数据集可通过直接链接或Hugging Face数据集库下载：
论文：DocLayNet: A Large Human-Annotated Dataset for Document-Layout Analysis（2022年6月2日）
模型描述
该模型在384个标记块，带128个标记重叠的行级别上进行了微调。因此，模型训练时使用了数据集中所有页面的布局和文本数据。
在推理时，通过计算最佳概率为每个行边界框分配标签。
推理
参见笔记：文档AI | 使用文档理解模型（LayoutXLM基础模型在DocLayNet数据集上微调）的行级别推理
训练和评估数据
参见笔记：文档AI | 在任意语言行级别（384个标记块，带重叠）微调LayoutXLM基础模型于DocLayNet基础数据集
训练过程
训练超参数
训练过程中使用了以下超参数：
- 学习率: 2e-05
- 训练批次大小: 8
- 评估批次大小: 16
- 随机种子: 42
- 优化器: Adam，betas=(0.9,0.999)，epsilon=1e-08
- 学习率调度器类型: 线性
- 学习率预热比例: 0.1
- 训练轮数: 3
- 混合精度训练: Native AMP
训练结果
| 训练损失 |
轮次 |
步数 |
准确率 |
F1值 |
验证损失 |
精确率 |
召回率 |
| 无记录 |
0.12 |
300 |
0.8413 |
0.1311 |
0.5185 |
0.1437 |
0.1205 |
| 0.9231 |
0.25 |
600 |
0.8751 |
0.5031 |
0.4108 |
0.4637 |
0.5498 |
| 0.9231 |
0.37 |
900 |
0.8887 |
0.5206 |
0.3911 |
0.5076 |
0.5343 |
| 0.369 |
0.5 |
1200 |
0.8724 |
0.5365 |
0.4118 |
0.5094 |
0.5667 |
| 0.2737 |
0.62 |
1500 |
0.8960 |
0.6033 |
0.3328 |
0.6046 |
0.6020 |
| 0.2737 |
0.75 |
1800 |
0.9186 |
0.6404 |
0.2984 |
0.6062 |
0.6787 |
| 0.2542 |
0.87 |
2100 |
0.9163 |
0.6593 |
0.3115 |
0.6324 |
0.6887 |
| 0.2542 |
1.0 |
2400 |
0.9198 |
0.6537 |
0.2878 |
0.6160 |
0.6962 |
| 0.1938 |
1.12 |
2700 |
0.9165 |
0.6752 |
0.3414 |
0.6673 |
0.6833 |
| 0.1581 |
1.25 |
3000 |
0.9193 |
0.6871 |
0.3611 |
0.6868 |
0.6875 |
| 0.1581 |
1.37 |
3300 |
0.9256 |
0.6822 |
0.2763 |
0.6988 |
0.6663 |
| 0.1428 |
1.5 |
|
|
|
|
|
|
Transformers%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)