许可协议：CC-BY-NC-ND-4.0
标签：

• 图像特征提取
• PyTorch
• timm

额外授权提示：
本模型及相关代码基于CC-BY-NC-ND 4.0许可发布，仅限非商业学术研究用途且需规范署名。禁止任何商业用途、销售或对Virchow2模型及其衍生品（包括基于该模型输出训练的模型或生成的数据集）进行变现，此类使用需事先获得批准。请注意，注册Hugging Face账户的主邮箱必须与机构邮箱一致方可获得授权。下载Virchow2模型即表示您确认所有信息（所属机构、研究用途）真实有效。下载前需完成Hugging Face注册并同意使用条款。下载即承诺不传播、发布或复制模型副本。若机构内其他用户需使用，必须单独注册并遵守条款。商业实体默认不予批准，除非另行提交用途说明。商业机构请联系论文通讯作者。

此外，下载即承诺仅将Virchow2模型用于学术研究，且不会用于或允许他人用于以下场景：

1. 疾病诊断/治疗/预防等医疗用途（包括研究专用IUO/RUO），或替代专业医疗建议；
2. 对模型训练用的匿名数据进行再识别；
3. 任何违法或侵权行为，包括：
   a) 从事或助长非法活动；
   b) 煽动骚扰、威胁或霸凌；
   c) 在雇佣、信贷、住房等领域实施歧视；
   d) 无证从事金融/法律/医疗等专业活动；
   e) 未经授权收集个人敏感信息；
   f) 侵犯第三方权利；
   g) 制作恶意软件或破坏系统；
4. 可能致人伤亡的活动（包括医疗设备等临床应用）；
5. 故意误导他人认为模型输出为人工作品。

您还承诺向终端用户充分披露AI系统的已知风险。

额外授权字段：

• 姓名：文本
• 机构邮箱（需与HuggingFace主邮箱一致）：文本
• 同意上述许可条款：复选框

Virchow2模型卡

Virchow2是基于310万张全切片病理图像的自监督视觉Transformer预训练模型，可作为切片级特征提取器（冻结或微调）在各种计算病理学下游任务中实现最先进性能。

模型详情

• 开发方：美国纽约Paige公司与微软研究院
• 类型：图像特征主干网络
• 参数：6.32亿
• 输入尺寸：224×224像素
• 架构：
  • ViT-H/14结构，14×14分块
  • 32层，1280维嵌入
  • SwiGLU激活函数，16个注意力头
  • 含LayerScale和4个注册令牌
• 训练：
  • 混合精度（fp16）
  • 改进DINOv2目标函数（替换Koleo正则化为核密度估计，采用扩展上下文平移增强）
• 论文：《Virchow2：病理学多尺度自监督模型扩展》
• 预训练数据：MSKCC提供的310万张全切片图像（5x-40x多分辨率采样）
• 许可：CC-BY-NC-ND-4.0

使用指南

环境要求

• PyTorch 2.0+
• timm ≥0.9.11
• huggingface_hub

登录验证

通过HuggingFace CLI或Python代码登录：

from huggingface_hub import login  
login()  

图像嵌入提取

model = timm.create_model("hf-hub:paige-ai/Virchow2", mlp_layer=SwiGLUPacked, act_layer=torch.nn.SiLU)  
transforms = create_transform(**resolve_data_config(model.pretrained_cfg))  

with torch.autocast("cuda", torch.float16):  
    output = model(transforms(image).cuda())  
    embedding = torch.cat([output[:,0], output[:,5:].mean(1)], dim=-1)  # 拼接分类令牌与平均分块令牌  

建议在GPU上使用混合精度加速，最终2560维嵌入可转换为fp16提升效率。

应用场景

• 直接使用：作为冻结特征提取器用于切片/全幻灯片分类
• 下游微调：适配特定任务

引用格式

@article{zimmermann2024virchow2,  
  title={Virchow2: Scaling Self-Supervised Mixed Magnification Models in Pathology},  
  author={Zimmermann, Eric et al.},  
  journal={arXiv:2408.00738},  
  year={2024}  
}  

免责声明

本模型仅供研究使用，不适用于真实患者诊断或疾病预测。由于元数据限制，未完成公平性评估，训练数据可能存在未表征的人口偏差。