库名称：transformers 流水线标签：图像分割 标签：

• 视觉
• 图像分割
• DIT 数据集：
• ds4sd/DocLayNet-v1.1 小部件示例：
• 图片来源：维基百科LibreOffice Writer 6.3截图 示例标题：维基

训练周期：4轮

使用方法：

image_processor = AutoImageProcessor.from_pretrained("microsoft/dit-large")
model = BeitForSemanticSegmentation.from_pretrained("jzju/dit-doclaynet")
image = Image.open('img.png').convert('RGB')
inputs = image_processor(images=image, return_tensors="pt")
outputs = model(**inputs)
# 输出logits形状为（批次大小，标签数量，高度，宽度）
logits = outputs.logits
out = logits[0].detach()
out.size()
for i in range(11):
    plt.imshow(out[i])
    plt.show()

标签说明：

1: 图注
2: 脚注
3: 公式
4: 列表项
5: 页脚
6: 页眉
7: 图片
8: 章节标题
9: 表格
10: 正文
11: 标题

数据标签转换：

model = BeitForSemanticSegmentation.from_pretrained("microsoft/dit-base", num_labels=11)
ds = load_dataset("ds4sd/DocLayNet-v1.1")
mask = np.zeros([11, 1025, 1025])
for b, c in zip(d["bboxes"], d["category_id"]):
    b = [np.clip(int(bb), 0, 1025) for bb in b]
    mask[c - 1][b[1]:b[1]+b[3], b[0]:b[0]+b[2]] = 1
mask = [cv2.resize(a, dsize=(56, 56), interpolation=cv2.INTER_AREA) for a in mask]
d["label"] = np.stack(mask)