模型类型: clip 标签:

• 医疗 语言:
• 英文 推理: 否 管道标签: 零样本图像分类

模型卡片: ClipMD

模型详情

ClipMD是基于OpenAI的CLIP模型开发的医疗图文匹配模型，采用滑动窗口文本编码器。

模型描述

该模型采用ViT-B/32 Transformer架构作为图像编码器，并使用掩码滑动窗口自注意力Transformer作为文本编码器。这些编码器通过对比损失训练，以最大化（图像，文本）对的相似度。

模型在ROCO数据集上进行了微调。

与Transformers一起使用

from PIL import Image

from transformers import AutoProcessor,AutoModel

model = AutoModel.from_pretrained("Idan0405/ClipMD",trust_remote_code=True)
processor = AutoProcessor.from_pretrained("Idan0405/ClipMD")

image = Image.open("你的图片路径")

inputs = processor(text=["胸部X光", "头部核磁共振"], images=image, return_tensors="pt", padding=True)

outputs = model(**inputs)
logits_per_image = outputs[0] # 这是图文相似度分数
probs = logits_per_image.softmax(dim=1) # 可以通过softmax获取标签概率

另请参阅

• ClipMD的GitHub仓库
• ClipMD的arXiv论文