许可证: wtfpl 语言:

• 英文 任务标签: 文生图

Prompt2MedImage - 医学影像生成扩散模型

Prompt2MedImage是一个基于潜在空间的文生图扩散模型，已在ROCO数据集的医学影像上完成微调。

本权重文件需配合🧨Diffusers库使用。

该模型使用亚马逊SageMaker及Hugging Face深度学习容器完成训练。

模型详情

• 开发者: Nihir Chadderwala
• 模型类型: 基于扩散的医学文生图模型
• 语言: 英语
• 许可证: wtfpl
• 模型描述: 该潜在文生图扩散模型可根据文本提示生成高质量医学影像，采用Imagen论文推荐的固定预训练文本编码器(CLIP ViT-L/14)。

生成示例

1. 脊髓灰质炎后遗症患者手部残留瘫痪。需通过植骨稳定拇指与食指的相对位置，X光片显示一年后移植骨完全愈合。

2. 3岁视觉障碍患儿。轴位FLAIR图像显示鞍上病变沿视束延伸至颞叶（箭头处），伴中度占位效应，符合视神经胶质瘤表现。左侧中脑同时可见肿瘤浸润导致的FLAIR高信号。

3. 骨质疏松性股骨转子下骨折影像。

许可证

本模型采用"爱咋用咋用"公共许可证，开放给所有用户：

• 禁止故意生成或传播违法有害内容
• 作者对生成内容不主张权利，使用者需自行负责
• 允许商用及二次分发模型权重

PyTorch运行指南

pip install diffusers transformers

使用默认PNDM调度器运行：

import torch
from diffusers import StableDiffusionPipeline

model_id = "Nihirc/Prompt2MedImage"
device = "cuda"

pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to(device)

prompt = "骨质疏松性股骨转子下骨折影像。"
image = pipe(prompt).images[0]  
    
image.save("骨质疏松性骨折.png")

文献引用

O. Pelka, S. Koitka, J. Rückert, F. Nensa, C.M. Friedrich,
《Radiology Objects in COntext (ROCO): 多模态医学影像数据集》.
MICCAI生物医学数据大规模标注与专家标签合成研讨会(LABELS) 2018, 9月16日, 西班牙格拉纳达. 计算机科学讲义(LNCS), 卷11043, 第180-189页, Springer Cham出版社, 2018.
doi: 10.1007/978-3-030-01364-6_20