🚀 Restor基于SegFormer的TCD模型
这是一个语义分割模型,能够在高分辨率(10厘米/像素)的航空图像中描绘树木覆盖情况。该模型可以解决从航空图像中评估树冠覆盖情况的问题,为生态研究和监测提供了有效的工具。
🚀 快速开始
你可以在 这个Colab笔记本 中查看一个简单的推理示例。
对于端到端的使用,我们建议用户参考我们的预测和训练 管道,它还支持对任意大的图像进行分块预测、报告输出等。
✨ 主要特性
- 该语义分割模型在全球航空影像上进行训练,能够在类似图像中准确描绘树木覆盖情况。
- 模型不检测单棵树木,而是提供每个像素是否为树木的分类。
- 基于SegFormer架构,结合不同阶段和空间分辨率的特征进行输出预测。
📦 安装指南
使用我们的管道对该模型进行典型训练的命令如下:
tcd-train semantic segformer-mit-b3 data.output= ... data.root=/mnt/data/tcd/dataset/holdout data.tile_size=1024
💻 使用示例
基础用法
from transformers import AutoImageProcessor
processor = AutoImageProcessor.from_pretrained('restor/tcd-segformer-mit-b3')
📚 详细文档
模型详情
模型描述
该语义分割模型在全球航空影像上进行训练,能够在类似图像中准确描绘树木覆盖情况。模型不检测单棵树木,而是提供每个像素是否为树木的分类。
- 开发者:Restor / 苏黎世联邦理工学院
- 资助方:该项目通过 Google.org 影响力赠款 得以实现。
- 模型类型:语义分割(二分类)
- 许可证:模型训练代码根据 Apache-2 许可证提供。NVIDIA 已根据其自身的研究许可证发布了 SegFormer。用户在部署前应检查此许可证的条款。该模型在 CC BY-NC 影像上进行训练。
- 微调基础模型:SegFormer 家族
SegFormer 是 Pyramid Vision Transformer v2 模型的一个变体,具有许多相同的结构特征和一个语义分割解码头。在功能上,该架构与特征金字塔网络(FPN)非常相似,因为输出预测是基于在不同空间分辨率下组合网络不同阶段的特征。
模型来源
- 仓库:https://github.com/restor-foundation/tcd
- 论文:我们将很快发布预印本。
使用场景
直接使用
该模型的主要用例是从航空图像中评估树冠覆盖情况(即研究区域被树冠覆盖的百分比)。该模型适用于对单个图像块进行推理。对于对大正射影像进行预测,需要一个更高级的框架来管理源图像的分块和拼接预测结果。我们的仓库提供了这样一个管道的全面参考实现,并已在超大型图像(国家规模)上进行了测试。
超出适用范围的使用
- 虽然我们在全球多样化的影像上训练了该模型,但训练数据集中某些生态生物群落的代表性不足,性能可能会有所不同。因此,我们鼓励用户在将该模型用于任何关键任务之前,先在自己的影像上进行实验。
- 该模型在分辨率为 10 厘米/像素的影像上进行训练。你可能能够在其他地理空间分辨率下获得良好的预测结果,但结果可能不可靠。特别是,该模型本质上是在寻找“看起来像树木的东西”,这高度依赖于分辨率。如果你想定期对更高或更低分辨率的图像进行预测,你应该在自己的或重采样后的训练数据集上微调该模型。
- 该模型不预测生物量、树冠高度或其他派生信息。它只预测某个像素被树冠覆盖的可能性。
- 目前,该模型不适用于碳信用额估算。
偏差、风险和局限性
- 该模型的主要局限性是在看起来像或可能被误认为是树木的物体上出现误报。例如,大型灌木丛、灌木或看起来像树冠的地被植物。
- 用于训练该模型的数据集由非专家进行标注。考虑到数据集的规模、独立测试数据的结果以及 Restor 在合作伙伴数据上的实际使用期间的经验评估,我们认为这是一个合理的权衡。然而,数据集中几乎肯定存在错误的标签,这可能会转化为模型输出中的错误预测或其他偏差。我们观察到,模型往往以一种可能正确的方式与训练数据“不一致”(即标签的总体统计数据良好),我们正在努力重新评估所有训练数据,以去除虚假标签。
- 我们提供交叉验证结果以对预测性能进行可靠估计,以及在独立影像(即模型从未见过的图像)上的结果,以便用户可以自行评估。我们不提供任何准确性保证,用户应在任何“关键任务”或生产使用中进行自己的独立测试。
训练详情
训练数据
训练数据集可以在 这里 找到,你可以在那里找到有关数据收集和标注过程的更多详细信息。我们的图像标签大多根据 CC-BY 4.0 许可证发布,还有一小部分 CC BY-NC 和 CC BY-SA 影像。
训练过程
我们在训练期间使用了 5 折交叉验证过程来调整超参数,然后在“完整”训练集上进行训练,并在保留的图像集上进行评估。该仓库主分支中的模型应被视为发布版本。
我们使用 Pytorch Lightning 作为训练框架,超参数如下所示。训练过程很简单,任何有训练深度神经网络经验的人都应该熟悉。
预处理
假设你使用 transformers
库,该仓库包含一个可与模型一起使用的预处理器配置。
你可以通过以下方式轻松加载此预处理器:
from transformers import AutoImageProcessor
processor = AutoImageProcessor.from_pretrained('restor/tcd-segformer-mit-b3')
请注意,我们不调整输入图像的大小(以便尊重源图像的地理空间比例),并且我们假设归一化是在这个处理步骤中进行的,而不是作为数据集变换。
训练超参数
- 图像大小:1024 像素正方形
- 学习率:初始为 1e4 - 1e5
- 学习率调度:在高原期降低
- 优化器:AdamW
- 数据增强:随机裁剪到 1024x1024、任意旋转、翻转、颜色调整
- 训练轮数:交叉验证期间为 75 轮以确保收敛;最终模型为 50 轮
- 归一化:使用 ImageNet 统计数据
速度、大小、时间
你应该能够在 CPU 上评估该模型(即使是 mit-b5),但是如果你尝试对大图像块进行推理,你将需要大量可用内存。一般来说,我们发现考虑到输出分割掩码的固定大小,1024 像素的输入是你能处理的最大尺寸(即,以 1024x1024 像素的批量模式进行推理可能比尝试预测单个 2048x2048 像素的图像更好)。
所有模型都在一台配备 24GB VRAM(NVIDIA RTX3090)的单个 GPU 上进行训练,该 GPU 连接到一台具有 64GB RAM 的 32 核机器。除最大的模型外,所有模型都可以在一天内使用此规格的机器进行训练。最小的模型训练时间不到半天,而最大的模型训练时间略超过一天。
评估
测试数据
训练数据集可以在 这里 找到。该模型(主分支)在所有 train
图像上进行训练,并在 test
(保留)图像上进行测试。

评估指标
我们报告了在保留数据集上的 F1、准确率和交并比(IoU),以及 5 折交叉验证分割的结果。交叉验证结果在下面的图表中以最小/最大误差线的形式可视化。
评估结果

环境影响
此估计是此处介绍的 SegFormer 系列模型的最大(就训练时间而言)估计。较小的模型,如 mit-b0
,训练时间不到半天。
- 硬件类型:NVIDIA RTX3090
- 使用时长:< 36 小时
- 碳排放:每个模型 5.44 千克二氧化碳当量
碳排放使用 Lacoste 等人(2019) 中介绍的 机器学习影响计算器 进行估计。
此估计未考虑实验所需的时间、失败的训练运行等。例如,由于我们使用了交叉验证,每个模型实际上需要大约 6 倍于此估计的时间 - 每一折一次运行,加上最终运行。
在野外工作中,可以在 CPU 上进行高效推理,但会牺牲推理延迟。一次典型的单电池无人机飞行数据可以在几分钟内处理完毕。
引用
我们将很快提供我们论文的预印本版本。在此期间,请按以下方式引用:
BibTeX:
@unpublished{restortcd,
author = "Veitch-Michaelis, Josh and Cottam, Andrew and Schweizer, Daniella Schweizer and Broadbent, Eben N. and Dao, David and Zhang, Ce and Almeyda Zambrano, Angelica and Max, Simeon",
title = "OAM-TCD: A globally diverse dataset of high-resolution tree cover maps",
note = "In prep.",
month = "06",
year = "2024"
}
模型卡片作者
Josh Veitch-Michaelis,2024 年;代表数据集作者。
模型卡片联系方式
如有疑问或需要更多信息,请联系 josh [at] restor.eco。