license: apache-2.0

M3D：基于多模态大语言模型的3D医学影像分析技术突破

论文 | 数据 | 代码

M3D是面向3D医学分析的多模态大语言模型开创性系列成果，包含：

• M3D-Data：最大规模开源3D医学数据集，含12万图文对与66.2万指令-应答对；
• M3D-LaMed：搭载M3D-CLIP预训练视觉编码器的多功能多模态模型，支持图文检索、报告生成、视觉问答、定位与分割等任务；
• M3D-Bench：覆盖8类任务的综合性自动评估基准。

重要通知

• 我们发现此前发布的GoodBaiBai88/M3D-LaMed-Llama-2-7B模型在分割任务中存在缺陷，已修复该问题并将于近日重新发布新版模型。

快速开始

可通过Hugging Face快速调用模型：

import numpy as np
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import simple_slice_viewer as ssv
import SimpleITK as sikt

device = torch.device('cuda') # 'cpu', 'cuda'
dtype = torch.bfloat16 # 或 bfloat16, float16, float32

model_name_or_path = 'GoodBaiBai88/M3D-LaMed-Llama-2-7B'
proj_out_num = 256

# 准备3D医学影像：
# 1. 图像需处理为1*32*256*256格式，可采用缩放等方法
# 2. 需进行0-1归一化（建议最小-最大归一化）
# 3. 图像需转换为.npy格式
# 4. 虽未针对2D图像训练，理论上可通过插值转为1*32*256*256输入
image_path = "./Data/data/examples/example_01.npy"

model = AutoModelForCausalLM.from_pretrained(
    model_name_or_path,
    torch_dtype=dtype,
    device_map='auto',
    trust_remote_code=True)
tokenizer = AutoTokenizer.from_pretrained(
    model_name_or_path,
    model_max_length=512,
    padding_side="right",
    use_fast=False,
    trust_remote_code=True
)

model = model.to(device=device)

# question = "请为该医学影像生成包含检查发现的描述文本"
question = "请识别图像中的肝脏区域并输出分割掩码"
# question = "请标注图像中肝脏的边界框"

image_tokens = "<im_patch>" * proj_out_num
input_txt = image_tokens + question
input_id = tokenizer(input_txt, return_tensors="pt")['input_ids'].to(device=device)

image_np = np.load(image_path)
image_pt = torch.from_numpy(image_np).unsqueeze(0).to(dtype=dtype, device=device)

# generation = model.generate(image_pt, input_id, max_new_tokens=256, do_sample=True, top_p=0.9, temperature=1.0)
generation, seg_logit = model.generate(image_pt, input_id, seg_enable=True, max_new_tokens=256, do_sample=True, top_p=0.9, temperature=1.0)

generated_texts = tokenizer.batch_decode(generation, skip_special_tokens=True)
seg_mask = (torch.sigmoid(seg_logit) > 0.5) * 1.0

print('问题', question)
print('生成结果', generated_texts[0])

image = sikt.GetImageFromArray(image_np)
ssv.display(image)
seg = sikt.GetImageFromArray(seg_mask.cpu().numpy()[0])
ssv.display(seg)