标签:

• 零样本图像分类
• CLIP模型
• 视觉
• 语言
• 病理组织学
• 组织学
• 医学 库标签: open_clip 许可证: mit 小部件示例:
  • 图片链接: >- https://quilt1m.github.io/img/BREST092.jpg 候选标签: 脂肪组织, 坏死组织, 淋巴细胞组织, 黏液组织, 平滑肌组织, 正常结肠黏膜组织, 癌相关间质组织, 结直肠腺癌上皮组织 示例标题: 组织表型分析
  • 图片链接: >- https://huggingface.co/microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224/resolve/main/example_data/biomed_image_classification_example_data/squamous_cell_carcinoma_histopathology.jpeg 候选标签: 腺癌病理切片, 鳞状细胞癌病理切片 示例标题: 鳞状细胞癌病理切片
  • 图片链接: >- https://huggingface.co/microsoft/BiomedCLIP-PubMedBERT_256-vit_base_patch16_224/resolve/main/example_data/biomed_image_classification_example_data/adenocarcinoma_histopathology.jpg 候选标签: 腺癌病理切片, 鳞状细胞癌病理切片 示例标题: 腺癌病理切片 管道标签: 零样本图像分类

QuiltNet-B-32 模型说明

QuiltNet-B-32是基于Quilt-1M病理视频数据集训练的CLIP ViT-B/32视觉语言基础模型，该数据集精选自代表性病理学教学视频。该模型可执行跨模态检索、图像分类、视觉问答等多种视觉语言处理任务，在多项标准数据集上刷新了性能记录，显著优于现有视觉语言处理方法：

引用文献

@misc{ikezogwo2023quilt1m,
      title={Quilt-1M：百万级病理图文数据集}, 
      author={Wisdom Oluchi Ikezogwo等},
      year={2023},
      eprint={2306.11207},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

用途说明

根据原始OpenAI CLIP模型卡，本模型主要面向科研用途，旨在帮助研究者探索零样本任意图像分类的潜力，并促进跨学科影响研究。OpenAI CLIP论文包含关于模型下游影响的讨论范例。

直接应用

零样本图像分类、图文检索等。

下游应用

图像分类微调、线性探针分类、图像生成引导等。

适用范围

主要用户为AI研究人员，用于探究病理视觉模型的鲁棒性、泛化能力及潜在偏差。

非适用范围

目前禁止任何商业或非商业部署使用。在未经充分领域测试的情况下，不推荐用于受限环境中的图像搜索等非部署场景。由于模型仅针对英语训练评估，仅限于英语应用场景。

训练数据

本模型基于QUILT-1M病理图文数据集训练，该数据集通过爬取YouTube教学视频构建，是目前规模最大的病理视觉语言建模数据集。

重要声明：数据集创建初衷是为大尺度多模态模型研究提供资源，建议仅用于科研目的。严禁重新分发除视频ID外的任何内容，且须遵守所在国法律法规。

性能评估

采用CLIP基准测试套件进行评估，具体结果详见相关论文。

免责声明

本模型输出结果不构成医疗建议，不能替代专业医疗诊断。使用者需自行承担风险并遵守相关法律法规。我们不对模型输出的准确性、适用性作任何担保，亦不承担因使用结果导致的任何责任。

隐私条款

根据YouTube隐私政策，我们仅重新分发视频ID数据。严禁传播其他任何内容，且须符合所在国出口管制法规要求。