标签:

• 图像特征提取
• timm库
• 病理学
• 组织学
• 医学影像
• 自监督学习
• 视觉Transformer
• 基础模型 库名称: timm 许可证: apache-2.0

H-optimus-0模型卡

H-optimus-0是由Bioptimus开发的开源组织学基础模型。该模型是一个拥有11亿参数的视觉Transformer，基于超过50万张H&E染色全切片组织学图像的专有数据集训练而成。更多信息请访问我们的GitHub仓库此处。

H-optimus-0可用于从组织学图像中提取强大特征，适用于多种下游应用，如突变预测、生存分析或组织分类。

特征提取使用指南

以下代码可用于运行推理；H-optimus-0要求输入图像尺寸为224x224像素，提取分辨率为0.5微米/像素。

from huggingface_hub import login
import torch
import timm 
from torchvision import transforms

# 登录Hugging Face hub，使用用户访问令牌（可在以下位置找到）：
# https://huggingface.co/settings/tokens.
login()

model = timm.create_model(
    "hf-hub:bioptimus/H-optimus-0", pretrained=True, init_values=1e-5, dynamic_img_size=False
)
model.to("cuda")
model.eval()

transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize(
        mean=(0.707223, 0.578729, 0.703617), 
        std=(0.211883, 0.230117, 0.177517)
    ),
])

input = torch.rand(3, 224, 224)
input = transforms.ToPILImage()(input)

# 推荐使用混合精度加速推理
with torch.autocast(device_type="cuda", dtype=torch.float16):
    with torch.inference_mode():
        features = model(transform(input).unsqueeze(0).to("cuda"))

assert features.shape == (1, 1536)

BibTeX引用信息

如果本仓库对您的研究有所帮助，请考虑引用我们的工作：

@software{hoptimus0,
  author = {Saillard, Charlie and Jenatton, Rodolphe and Llinares-López, Felipe and Mariet, Zelda and Cahané, David and Durand, Eric and Vert, Jean-Philippe},
  title = {H-optimus-0},
  url = {https://github.com/bioptimus/releases/tree/main/models/h-optimus/v0},
  year = {2024},
}