标签:

• 图像特征提取
• timm框架
• 病理学
• 组织学
• 医学影像
• 自监督学习
• 视觉Transformer
• 基础模型 库名称: timm 许可证: CC-BY-NC-ND 4.0 额外授权提示: >-

  • 本模型及相关代码遵循CC-BY-NC-ND 4.0许可发布，仅限非商业学术研究用途且需正确署名。

  • 严禁任何商业用途、销售或对H0-mini模型及其衍生品（包括基于H0-mini模型输出训练的模型或生成的数据集）进行货币化，此类行为需事先获得批准。

  • 请注意，注册Hugging Face账户的主邮箱必须与机构邮箱一致以获得授权。下载模型即表示您确认所有信息（所属机构、研究用途）真实有效。下载前需在Hugging Face完成注册并同意使用条款。下载本模型即承诺不传播、发布或复制模型副本。若同一机构其他用户需使用H0-mini模型，必须单独注册并遵守使用条款。用户不得尝试重新识别用于开发本模型的匿名化数据。

  • 本模型按"原样"提供，不附带任何明示或暗示的保证。该模型未经任何监管机构（包括但不限于美国FDA、欧洲EMA、英国MHRA或其他医疗器械主管部门）审查、认证或批准。在医疗或生物医学领域应用本模型需符合相关法规要求并进行独立验证。用户需对模型使用及其后果承担全部责任。作者、贡献者和分发方对因使用模型导致的直接或间接损害不承担任何责任。涉及患者数据的研究使用时，用户需确保符合数据保护法规（如GDPR、HIPAA）。

  • 商业实体请联系hello@bioptimus.com洽谈授权事宜。 额外授权字段: 全名（姓与名）: 文本 当前所属机构（请勿缩写）: 文本 机构类型: 类型: 选择 选项:

    • 学术界
    • 工业界
    • 标签: 其他 值: other 当前官方机构邮箱（必须与Hugging Face账户主邮箱一致，@gmail/@hotmail/@qq等邮箱域名将被拒绝）: 文本 主要用途: 类型: 选择 选项:
    • 多任务模型基准测试
    • 生物标志物发现
    • 诊断辅助
    • 病理工作流加速（细胞与组织分割等）
    • 标签: 其他 值: other 请说明您的研究用途: 文本 我同意上述所有条款: 复选框 我同意不传播模型，机构内其他用户需单独注册: 复选框 我同意仅将模型用于非商业学术目的: 复选框 我希望接收Bioptimus的更新通知: 类型: 复选框 可选: 是

H0-mini模型卡

H0-mini是由Owkin和Bioptimus联合开发的轻量级组织学基础模型。

该模型是基于Vision Transformer Base/14架构，通过DINOv2[2]自监督蒸馏方法从H-optimus-0[1]（ViT-g/14）模型蒸馏而来，训练数据为PanCancer40M——包含从TCGA的6,093张组织学切片中提取的4,300万张组织图块。

H0-mini在显著降低推理成本的同时，性能与当前主流组织学基础模型相当，并对染色和扫描协议变化展现出强大鲁棒性。详见ArXiv预印本。

图示：在PLISM数据集[3]中评估模型对染色和扫描条件的鲁棒性——针对4,095组切片对计算各特征提取器的前10准确率中位数与平均余弦相似度。两个坐标轴上数值越高表示模型越稳健。

特征提取使用指南

H0-mini可直接使用或微调后应用于不同下游任务，例如使用多实例学习算法（如ABMIL[4]）进行切片级分类。

以下代码示例展示如何使用H0-Mini提取组织学图像特征：

推荐使用CLS令牌特征（cls_features）作为下游任务输入特征。在某些任务中，将CLS令牌特征与图块令牌特征均值拼接（concatenated_features）可能带来性能提升。

from huggingface_hub import login
import torch
import timm
from timm.data import resolve_data_config
from timm.data.transforms_factory import create_transform
from torchvision import transforms


# 使用Hugging Face用户访问令牌登录（设置页面获取：https://huggingface.co/settings/tokens）
login()

model = timm.create_model(
    "hf-hub:bioptimus/H0-mini",
    pretrained=True,
    mlp_layer=timm.layers.SwiGLUPacked,
    act_layer=torch.nn.SiLU,
)
model.to("cuda")
model.eval()

transform = create_transform(**resolve_data_config(model.pretrained_cfg, model=model))

input = torch.rand(3, 224, 224)
input = transforms.ToPILImage()(input)

# 推荐使用混合精度加速推理
with torch.autocast(device_type="cuda", dtype=torch.float16):
    with torch.inference_mode():
        output = model(transform(input).unsqueeze(0).to("cuda"))  # (1, 261, 768)
        # CLS令牌特征 (1, 768):
        cls_features = output[:, 0]
        # 图块令牌特征 (1, 256, 768):
        patch_token_features = output[:, model.num_prefix_tokens :]
        # 将CLS令牌特征与图块令牌特征均值拼接 (1, 1536):
        concatenated_features = torch.cat(
            [cls_features, patch_token_features.mean(1)], dim=-1
        )

assert cls_features.shape == (1, 768)
assert patch_token_features.shape == (1, 256, 768)
assert concatenated_features.shape == (1, 1536)

提取的特征可用于多种下游应用，如ROI分类（通过线性或k-NN探测）、切片分类（通过多实例学习）、分割（通过ViT-Adapter等）等。

软件依赖

• torch>=2.0.0: https://pytorch.org
• torchvision>=0.15.0: https://pytorch.org/vision/stable/index.html
• xformers>=0.0.18: https://github.com/facebookresearch/xformers

引用

若使用本模型，请引用我们的工作：

@misc{filiot2025distillingfoundationmodelsrobust,
      title={Distilling foundation models for robust and efficient models in digital pathology}, 
      author={Alexandre Filiot and Nicolas Dop and Oussama Tchita and Auriane Riou and Thomas Peeters and Daria Valter and Marin Scalbert and Charlie Saillard and Geneviève Robin and Antoine Olivier},
      year={2025},
      eprint={2501.16239},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2501.16239}, 
}

致谢

计算资源

本研究获得了GENCI分配的IDRIS高性能计算资源（编号2023-A0141012519、2024-A0161012519和2024-GC011015442）。

代码

H0-mini基于DINOv2代码库（Apache License 2.0）构建。

数据集

本研究部分成果基于TCGA研究网络生成的数据：https://www.cancer.gov/tcga

参考文献

1. Saillard, C., Jenatton, R., Llinares-López, F., Mariet, Z., Cahané, D., Durand, E., Vert, J.-P., 2024. H-optimus-0.
2. Oquab, M., Darcet, T., Moutakanni, T., Vo, H., Szafraniec, M., Khalidov, V., ... & Bojanowski, P. (2023). Dinov2: Learning robust visual features without supervision. arXiv preprint arXiv:2304.07193.
3. Ochi, M., Komura, D., Onoyama, T., Shinbo, K., Endo, H., Odaka, H., ... & Ishikawa, S. (2024). Registered multi-device/staining histology image dataset for domain-agnostic machine learning models. Scientific Data, 11(1), 330.
4. Ilse, M., Tomczak, J., & Welling, M. (2018, July). Attention-based deep multiple instance learning. In International conference on machine learning (pp. 2127-2136). PMLR.