🚀 皮肤基础模型（Derm Foundation）

皮肤基础模型（Derm Foundation）是一款专为加速皮肤病学应用中皮肤图像分析的人工智能开发而设计的机器学习模型。它通过预训练生成的特征嵌入，能显著减少训练AI模型所需的数据量和计算资源。

🚀 快速开始

本模型的相关文档及资源如下：

• 模型文档：皮肤基础模型（Derm Foundation）
• 资源链接：
  • Google Cloud模型库中的模型：皮肤基础模型（Derm Foundation）
  • Hugging Face上的模型：google/derm-foundation
  • GitHub仓库（包含支持代码、Colab笔记本、讨论和问题）：derm-foundation
  • 快速入门笔记本：notebooks/quick_start
  • 支持信息：请查看联系我们
• 使用条款：健康人工智能开发者基础使用条款
• 作者：Google

✨ 主要特性

皮肤基础模型（Derm Foundation）经过大量带标签的皮肤图像预训练，能够生成6144维的特征嵌入，捕捉与皮肤图像分析相关的密集特征。这使得基于该模型的AI模型训练所需的数据和计算资源显著减少。

📦 安装指南

若要在本地运行模型，可参考以下示例代码。若需大规模使用该模型，建议通过Model Garden创建生产版本。

# 下载测试图像
from PIL import Image
from io import BytesIO
from IPython.display import Image as IPImage, display
from huggingface_hub import from_pretrained_keras
import tensorflow as tf

# 下载示例图像
!wget -nc -q https://storage.googleapis.com/dx-scin-public-data/dataset/images/3445096909671059178.png

# 加载图像
img = Image.open("3445096909671059178.png")
buf = BytesIO()
img.convert('RGB').save(buf, 'PNG')
image_bytes = buf.getvalue()

# 格式化输入
input_tensor= tf.train.Example(features=tf.train.Features(
        feature={'image/encoded': tf.train.Feature(
            bytes_list=tf.train.BytesList(value=[image_bytes]))
        })).SerializeToString()

# 直接从Hugging Face Hub加载模型
loaded_model = from_pretrained_keras("google/derm-foundation")

# 调用推理
infer = loaded_model.signatures["serving_default"]
output = infer(inputs=tf.constant([input_tensor]))

# 提取嵌入向量
embedding_vector = output['embedding'].numpy().flatten()

💻 使用示例

基础用法

上述安装指南中的代码即为基础用法示例，展示了如何在本地加载模型并进行推理，提取特征嵌入向量。

高级用法

以下是一些使用该模型的高级示例，可通过Colab笔记本查看：

• 快速试用：使用Hugging Face的权重在本地运行模型，可查看Colab中的快速入门笔记本。
• 训练线性分类器：查看如何使用该模型训练线性分类器，可参考Colab中的线性分类器笔记本。
• DERM12345嵌入与演示：DERM12345 Embeddings and Demo包含了一个使用皮肤基础模型预计算嵌入的演示，用于DERM12345。特别感谢Abdurrahim Yilmaz提供此示例。

📚 详细文档

模型架构概述

• 该模型基于BiT - M ResNet101x3架构。
• 皮肤基础模型分两个阶段进行训练。第一阶段的预训练使用对比学习，在大量来自互联网的公共图像 - 文本对上进行训练。然后，使用多个临床数据集对该预训练模型的图像部分进行微调，以进行疾病分类和其他下游任务。

技术规格

性能与验证

皮肤基础模型在一系列与皮肤相关的分类任务中进行了数据高效性和准确性评估。在不同比例的训练数据下，基于皮肤基础模型的嵌入训练线性分类器的性能（准确率提高10 - 15%）明显优于标准BiT - M模型。更多详情请参考针对皮肤病学和病理学的特定健康嵌入工具。

输入与输出

• 输入：448 x 448像素的PNG图像文件。
• 输出：浮点值的嵌入向量（维度：6144）。

数据集详情

训练数据集

• 基础模型（预训练）：使用大量来自公共网络的健康相关图像 - 文本对。
• SFT（监督微调）模型：使用来自美国和哥伦比亚的远程皮肤病学数据集、来自澳大利亚的皮肤癌数据集以及其他公共图像。这些图像来自多种设备类型，包括智能手机相机、其他相机和皮肤镜。图像拍摄者也各不相同，可能是临床医生在会诊期间拍摄，也可能是患者自行拍摄。

标注

标注来源因数据集而异，例如：

• 来自公共网络的（图像，标题）对。
• 由谷歌资助的皮肤科医生标注员提供的皮肤病状况标签。
• 基于远程医疗访问、面对面访问或活检的临床数据集提供的皮肤病状况标签。

软件实现

模型训练使用了JAX。JAX使研究人员能够利用包括TPU在内的最新一代硬件，更快、更高效地训练大型模型。

使用与限制

预期用途

• 皮肤基础模型可减少开发皮肤图像分析特定任务模型所需的训练数据、计算资源和技术专业知识。
• 模型生成的嵌入可用于各种用户定义的下游任务，包括但不限于：
  • 对银屑病、黑色素瘤或皮炎等临床病症进行分类。
  • 对临床病症的严重程度或进展进行评分。
  • 识别皮肤所在的身体部位。
  • 确定用于皮肤病评估的图像质量。
• 若要了解如何使用该模型训练分类器，请查看线性分类器示例。

优势

• 皮肤基础模型的嵌入可用于高效训练皮肤图像分析的AI模型，与传统方法相比，所需的数据和计算资源显著减少。
• 通过利用大量预训练图像，用户可以使用更少的数据构建更具泛化能力的模型，而不是在更有限的数据集上进行训练。

限制

• 皮肤基础模型在现实环境中不同光照和噪声条件下的图像上进行训练。然而，在极端条件下（如过亮或过暗的照片），其性能可能会下降。
• 基础模型使用来自公共网络的图像 - 文本对进行训练，这些图像来源多样，但可能存在噪声或质量较低的情况。SFT（监督微调）模型使用来自有限国家（美国、哥伦比亚、澳大利亚、公共图像）和场景（主要是临床场景）的数据进行训练，可能无法很好地泛化到其他国家、患者群体或未在训练中使用的图像类型的数据。
• 该模型仅用于生成用户提供数据的嵌入，本身不进行任何预测或诊断。
• 与任何研究一样，开发者应确保任何下游应用在使用与特定应用预期使用场景（如肤色/类型、年龄、性别等）相适应的数据进行验证，以了解其性能。

📄 许可证

皮肤基础模型（Derm Foundation）的使用受健康人工智能开发者基础使用条款的约束。