许可协议: cc-by-nc-nd-4.0 语言:

• 英文 标签:
• 组织学
• 病理学
• 视觉
• pytorch
• 自监督学习
• 视觉变换器(ViT) 额外授权提示: >- 本模型及相关代码基于CC-BY-NC-ND 4.0许可协议发布，仅可用于非商业学术研究用途并需正确署名。禁止任何商业用途、销售或以TITAN模型及其衍生品（包括基于TITAN模型输出训练的模型或由TITAN模型创建的数据集）牟利的行为，此类使用需事先获得批准。请注意，注册Hugging Face账户的主邮箱必须与机构邮箱一致才能获得批准。下载模型即表示您确认所有信息（所属机构、研究用途）准确且最新。下载模型需先在Hugging Face注册并同意使用条款。下载本模型即表示您同意不传播、发布或复制模型副本。若您所在机构有其他用户希望使用TITAN模型，必须单独注册账户并同意遵守使用条款。用户不得尝试重新识别用于开发基础模型的匿名化数据。商业实体请联系通讯作者。 额外授权字段: 全名（姓与名）: 文本 当前所属机构（请勿缩写）: 文本 机构类型: 类型: 选择 选项:
  • 学术界
  • 工业界
  • 标签: 其他 值: 其他 当前官方机构邮箱（必须与Hugging Face账户主邮箱一致，@gmail/@hotmail/@qq等邮箱域名将被拒绝）: 文本 请说明您的研究用途: 文本 我同意上述所有条款: 复选框 我同意仅将本模型用于非商业学术用途: 复选框 我同意不传播本模型，机构内其他用户需单独注册: 复选框 评估指标:
• 准确率 任务标签: 图像特征提取

TITAN预览版模型卡

[预印本] | [GitHub仓库] | [引用]

什么是TITAN？

TITAN（基于Transformer的病理图像与文本对齐网络）是一个多模态全切片基础模型，通过视觉自监督学习和视觉-语言对齐进行预训练。该模型利用了来自麻省总医院布里格姆医疗系统内部收集的335,645张涵盖肿瘤性、感染性和炎症性病例的多样化全切片图像（WSIs）。此外，TITAN还整合了超过182,000份病理报告和由PathChat（我们的病理学协作助手）生成的423,000余条合成标注。TITAN的切片嵌入在多样化下游任务中实现了最先进的性能，包括线性探测、少样本和零样本分类、罕见癌症检索、跨模态检索以及病理报告生成。

此为预览版本，我们将持续带来更新与改进。

访问申请

如授权提示所述，您必须同意使用条款，且HuggingFace账户的主邮箱需与机构邮箱匹配。若主邮箱为个人邮箱（@gmail/@hotmail/@qq），申请将被拒绝。解决方法：(1) 在HF账户中添加官方机构邮箱并验证；(2) 将机构邮箱设为主邮箱。其他可能导致申请被拒的原因包括：表格填写错误（如姓名含缩写、机构名称未拼写完整、研究用途描述不充分或邮箱域名未被识别）。

模型说明

• 开发团队: 哈佛大学/布里格姆妇女医院Mahmood实验室病理AI组
• 模型类型: 预训练的视觉-语言编码器
• 预训练数据集: Mass-340K（来自BWH/MGH的私有组织学数据集）及GTEx联盟公开切片
• 代码仓库: https://github.com/mahmoodlab/TITAN
• 预印本: https://arxiv.org/abs/2411.19666
• 许可协议: CC-BY-NC-ND-4.0

环境要求

torch==2.0.1
timm==1.0.3
einops==0.6.1
einops-exts==0.0.4
transformers==4.46.0

模型使用

TITAN-preview是基于CONCH v1.5的512x512像素（20倍放大）图像块特征训练的多模态模型。

通过huggingface_hub认证后，可使用以下命令加载TITAN-preview（切片与语言编码器）和CONCH v1.5（图像块编码器）：

from huggingface_hub import login
from transformers import AutoModel 

login()  # 使用Hugging Face设置中的用户访问令牌登录（https://huggingface.co/settings/tokens）

titan = AutoModel.from_pretrained('MahmoodLab/TITAN', trust_remote_code=True)
conch, eval_transform = titan.return_conch()

TITAN-preview可直接用于切片级特征提取。该模型通过图像块坐标和间距构建CONCH v1.5特征网格。由于坐标始终保存在切片0级放大层级，需指定0级下的patch_size_lv0参数（40倍切片为1024，20倍为512）。我们的TCGA示例特征中已包含此信息。

切片特征提取示例如下：

import h5py
from transformers import AutoModel

# 加载模型
titan = AutoModel.from_pretrained('MahmoodLab/TITAN', trust_remote_code=True)

# 加载CONCH v1.5示例特征
h5_path = 'TCGA_demo_features/TCGA-RM-A68W-01Z-00-DX1.4E62E4F4-415C-46EB-A6C8-45BA14E82708.h5'
with h5py.File(h5_path, 'r') as file:
    features = torch.from_numpy(file['features'][:])
    coords = torch.from_numpy(file['coords'][:])
    patch_size_lv0 = file['coords'].attrs['patch_size_level0']

# 提取切片嵌入
with torch.autocast('cuda', torch.float16), torch.inference_mode():
    slide_embedding = model.encode_slide_from_patch_features(features, coords, patch_size_lv0)

这些特征可用于切片级分类（线性探测）、检索（L2距离）等机器学习任务，无需任务特定微调。我们还在TCGA_TITAN_features.pkl中发布了所有TCGA特征，并在GitHub中提供了线性探测和零样本评估的详细示例。

许可与使用条款

本模型及代码基于CC-BY-NC-ND 4.0许可，仅限非商业学术研究使用且需署名。禁止任何商业用途或对模型及其衍生品的牟利行为。下载需先在Hugging Face注册并同意条款。下载即承诺不传播模型副本。机构内其他用户需单独注册。禁止尝试重新识别匿名训练数据。商业实体请联系通讯作者。

联系方式

如有疑问请联系： Faisal Mahmood（faisalmahmood@bwh.harvard.edu）、 Tong Ding（tong_ding@g.harvard.edu）、 Sophia J. Wagner（sophia.wagner@helmholtz-munich.de）、 Andrew H. Song（asong@bwh.harvard.edu）、 或Richard J. Chen（richardchen@g.harvard.edu）。

致谢

本项目基于以下优秀开源库构建：ViT、iBOT、OpenClip、LGSSL和Timm（ViT实现）。感谢所有开发者的贡献。

BibTeX引用

如果我们的工作对您的研究有所帮助，请考虑引用：

丁彤*、Wagner S.J.、宋安华、陈瑞杰*等。《病理学多模态全切片基础模型》，arXiv，2024

@misc{ding2024multimodalslidefoundationmodel,
      title={病理学多模态全切片基础模型}, 
      author={丁彤 and Sophia J. Wagner and Andrew H. Song and Richard J. Chen and Ming Y. Lu and Andrew Zhang and Anurag J. Vaidya and Guillaume Jaume and Muhammad Shaban and Ahrong Kim and Drew F. K. Williamson and Bowen Chen and Cristina Almagro-Perez and Paul Doucet and Sharifa Sahai and Chengkuan Chen and Daisuke Komura and Akihiro Kawabe and Shumpei Ishikawa and Georg Gerber and 彭婷莹 and Long Phi Le and Faisal Mahmood},
      year={2024},
      eprint={2411.19666},
      archivePrefix={arXiv},
      primaryClass={eess.IV},
      url={https://arxiv.org/abs/2411.19666}, 
}