标签:

• 图像分割 库名称: coreml 许可证: apache-2.0

DETR-Resnet50（语义分割）Core ML模型

转换后的模型请参见文件选项卡。

DEtection TRansformer (DETR)模型在COCO 2017目标检测数据集（11.8万张标注图像）上进行了端到端训练。该模型由Carion等人在论文End-to-End Object Detection with Transformers中提出，并首次发布于此代码库。

模型描述

DETR模型是一个带有卷积骨干网络的编码器-解码器Transformer。在解码器输出之上添加了两个头以执行目标检测：一个用于类别标签的线性层和一个用于边界框的MLP（多层感知机）。模型使用所谓的对象查询来检测图像中的对象。每个对象查询在图像中寻找特定对象。对于COCO数据集，对象查询的数量设置为100。

模型训练采用“二分匹配损失”：将每个N=100个对象查询的预测类别+边界框与真实标注进行比较，填充至相同长度N（例如，如果图像仅包含4个对象，则96个标注的类别为“无对象”，边界框为“无边界框”）。匈牙利匹配算法用于在N个查询和N个标注之间创建最优的一对一映射。接着，使用标准交叉熵（用于类别）和L1损失与广义IoU损失的线性组合（用于边界框）来优化模型参数。

评估 - 变体

IoU和像素准确率在COCO数据集的512张图像上测量。真实标签从全景分割标注中提取，转换为语义分割掩码。输入图像被调整大小，使较短边等于448，然后进行中心裁剪。

推理时间

以下结果针对DETRResnet50SemanticSegmentationF16。MacBook Pro (M1 Max)的计算单元手动选择为“CPU和神经引擎”。

下载

安装huggingface-cli

brew install huggingface-cli

将.mlpackage文件夹下载到models目录：

huggingface-cli download \
  --local-dir models --local-dir-use-symlinks False \
  apple/coreml-detr-semantic-segmentation \
  --include "DETRResnet50SemanticSegmentationF16.mlpackage/*"

若要下载所有内容，请省略--include参数。这将获取float32和float16变体，以及float16变体的量化版本。

集成到Swift应用

huggingface/coreml-examples仓库包含coreml-detr-semantic-segmentation及其他模型的Swift示例代码。请参阅此处说明构建演示应用，了解如何在您的Swift应用中使用该模型。