许可证: mit
数据集:

• Xpitfire/cmp_facade
  语言:
• en
  评估指标:
• accuracy
  管道标签: image-segmentation
  标签:
• building

语义分割是指将图像中的每个像素分类到对应类别的任务。该技术在医学影像、自动驾驶、机器人等领域有广泛应用。针对建筑立面数据集，我们的目标是根据12个不同类别对建筑正视图进行分类。这些类别包括：立面、线脚、檐口、立柱、窗户、门、窗台、百叶窗、阳台、商店、装饰和背景。

2014年，Long等人发表了一篇开创性论文，首次将卷积神经网络应用于语义分割。近年来，Transformer在计算机视觉领域取得重大突破，例如图像分类任务中的ViT模型。随后，Transformer也被成功应用于语义分割，在多个主流数据集上展现出卓越性能。我们将重点分析2021年提出的前沿模型SegFormer，该架构采用无需位置编码的分层Transformer编码器和简易多层感知机解码器。本案例将使用SegFormer对街景建筑图像进行分类。

最新研究中，Yin等人提出了一种零样本语义分割新方法，其性能达到当前最优水平。该方法无需在目标数据集上训练，即可获得与监督方法相当的结果。其核心创新在于用描述类别的短文向量嵌入替代传统类别标签，从而能融合具有不同标签体系的多个数据集，最终构建出包含200余万图像的合并数据集。该模型在7个基准数据集上媲美监督方法，经过微调后甚至能超越传统方法。

完整教程详见此处。