许可协议：apache-2.0
标签：

• 3D医学CLIP
• 图文检索
  评估指标：
• 准确率
  任务类型：图像特征提取

M3D-CLIP是M3D系列研究成果之一。
该模型通过M3D-Cap数据集上的对比损失实现视觉与语言的对齐，是专为3D医学影像设计的CLIP模型。
视觉编码器采用32256256图像尺寸与41616分块尺寸的3D ViT架构。
文本编码器以预训练BERT模型进行初始化。

M3D-CLIP的核心应用：

1. 3D医学影像与文本的跨模态检索
2. 为下游任务提供对齐的强表征图文特征
3. 文本对齐的视觉编码器可作为视觉/多模态任务的优质预训练模型

快速开始

device = torch.device("cuda") # 或cpu

tokenizer = AutoTokenizer.from_pretrained(
    "GoodBaiBai88/M3D-CLIP",
    model_max_length=512,
    padding_side="right",
    use_fast=False
)
model = AutoModel.from_pretrained(
    "GoodBaiBai88/M3D-CLIP",
    trust_remote_code=True
)
model = model.to(device=device)

# 准备3D医学影像数据：
# 1. 图像需处理为1*32*256*256尺寸（可通过resize等方法）
# 2. 需进行0-1归一化（建议采用Min-Max归一化）
# 3. 图像格式需转换为.npy文件
# 4. 虽然未针对2D图像训练，但理论上可通过插值转为1*32*256*256尺寸输入
    
image_path = ""
input_txt = ""

text_tensor = tokenizer(input_txt, max_length=512, truncation=True, padding="max_length", return_tensors="pt")
input_id = text_tensor["input_ids"].to(device=device)
attention_mask = text_tensor["attention_mask"].to(device=device)
image = np.load(image_path).to(device=device)

with torch.inference_mode():
    image_features = model.encode_image(image)[:, 0]
    text_features = model.encode_text(input_id, attention_mask)[:, 0]

引用文献

若我们的工作对您有所帮助，请考虑引用：

@misc{bai2024m3d,
      title={M3D：基于多模态大模型的3D医学影像分析进阶}, 
      author={白帆 and 杜雨馨 and 黄铁军 and 孟庆虎 and 赵波},
      year={2024},
      eprint={2404.00578},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}