---

许可证：其他 许可证名称：健康AI开发者基础条款 许可证链接：https://developers.google.com/health-ai-developer-foundations/terms 库名称：transformers 流水线标签：图像文本到文本 额外授权标题：在Hugging Face上访问MedGemma 额外授权提示：>- 要在Hugging Face上访问MedGemma，您需要审阅并同意健康AI开发者基础使用条款。 为此，请确保您已登录Hugging Face并点击下方按钮。 请求将立即处理。 额外授权按钮内容：确认许可证 基础模型：

• google/medgemma-4b-it 标签：
• 医疗
• unsloth
• 放射学
• 临床推理
• 皮肤病学
• 病理学
• 眼科学
• 胸部X光

---

MedGemma模型卡

模型文档: MedGemma

资源:

• Google Cloud Model Garden上的模型: MedGemma
• Hugging Face上的模型: MedGemma
• GitHub仓库（支持代码、Colab笔记本、讨论和问题）: MedGemma
• 快速入门笔记本: GitHub
• 微调笔记本: GitHub
• 使用MedGemma构建的患者教育演示
• 支持: 参见联系
• 许可证: MedGemma的使用受健康AI开发者基础使用条款约束。

作者: Google

模型信息

本节介绍MedGemma模型及其使用方法。

描述

MedGemma是一系列Gemma 3变体，专为医学文本和图像理解性能而训练。开发者可以使用MedGemma加速构建基于医疗保健的AI应用。MedGemma目前有两种变体：4B多模态版本和27B纯文本版本。

MedGemma 4B采用了一个SigLIP图像编码器，该编码器专门针对多种去标识化医疗数据进行了预训练，包括胸部X光、皮肤病图像、眼科图像和组织病理学切片。其LLM组件在多样化的医学数据上进行了训练，包括放射学图像、组织病理学切片、眼科图像和皮肤病图像。

MedGemma 4B提供预训练（后缀：-pt）和指令调优（后缀-it）版本。指令调优版本是大多数应用的更好起点。预训练版本在MIMIC风格的胸部X光报告生成上表现尤为出色。

MedGemma 27B仅针对医学文本进行了训练，并针对推理时计算进行了优化。MedGemma 27B仅作为指令调优模型提供。

MedGemma变体已在多个临床相关基准上进行了评估，以展示其基线性能。这些基准包括开放基准数据集和精选数据集。开发者可以对MedGemma变体进行微调以提升性能。更多详情请参阅下文“预期用途”部分。

完整技术报告即将发布。

使用方法

以下是一些示例代码片段，帮助您快速开始在GPU上本地运行模型。如果您希望大规模使用该模型，我们建议您使用Model Garden创建生产版本。

首先，安装Transformers库。Gemma 3从transformers 4.50.0开始支持。

$ pip install -U transformers

使用pipeline API运行模型

from transformers import pipeline
from PIL import Image
import requests
import torch

pipe = pipeline(
    "image-text-to-text",
    model="google/medgemma-4b-it",
    torch_dtype=torch.bfloat16,
    device="cuda",
)

# 图片来源：Stillwaterising, CC0, via Wikimedia Commons
image_url = "https://upload.wikimedia.org/wikipedia/commons/c/c8/Chest_Xray_PA_3-8-2010.png"
image = Image.open(requests.get(image_url, headers={"User-Agent": "example"}, stream=True).raw)

messages = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "您是一名专业的放射科医生。"}]
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "描述这张X光片"},
            {"type": "image", "image": image},
        ]
    }
]

output = pipe(text=messages, max_new_tokens=200)
print(output[0]["generated_text"][-1]["content"])

直接运行模型

# pip install accelerate
from transformers import AutoProcessor, AutoModelForImageTextToText
from PIL import Image
import requests
import torch

model_id = "google/medgemma-4b-it"

model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
processor = AutoProcessor.from_pretrained(model_id)

# 图片来源：Stillwaterising, CC0, via Wikimedia Commons
image_url = "https://upload.wikimedia.org/wikipedia/commons/c/c8/Chest_Xray_PA_3-8-2010.png"
image = Image.open(requests.get(image_url, headers={"User-Agent": "example"}, stream=True).raw)

messages = [
    {
        "role": "system",
        "content": [{"type": "text", "text": "您是一名专业的放射科医生。"}]
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "描述这张X光片"},
            {"type": "image", "image": image}
        ]
    }
]

inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True,
    return_dict=True, return_tensors="pt"
).to(model.device, dtype=torch.bfloat16)

input_len = inputs["input_ids"].shape[-1]

with torch.inference_mode():
    generation = model.generate(**inputs, max_new_tokens=200, do_sample=False)
    generation = generation[0][input_len:]

decoded = processor.decode(generation, skip_special_tokens=True)
print(decoded)

示例

查看以下Colab笔记本，了解如何使用MedGemma：

• 要快速尝试模型，使用Hugging Face的权重在本地运行，请参阅Colab快速入门笔记本。请注意，您需要使用Colab Enterprise来运行27B模型而不进行量化。

• 有关微调模型的示例，请参阅Colab微调笔记本。

模型架构概述

MedGemma模型基于Gemma 3构建，并使用与Gemma 3相同的仅解码器Transformer架构。要了解更多关于架构的信息，请参阅Gemma 3模型卡。

技术规格

• 模型类型: 仅解码器Transformer架构，参见Gemma 3技术报告
• 模态: 4B: 文本、视觉；27B: 仅文本
• 注意力机制: 使用分组查询注意力（GQA）
• 上下文长度: 支持长上下文，至少128K tokens
• 关键出版物: 即将发布
• 模型创建时间: 2025年5月20日
• 模型版本: 1.0.0

引用

技术报告即将发布。在此期间，如果您使用此模型发表论文，请引用Hugging Face模型页面：

@misc{medgemma-hf,
    author = {Google},
    title = {MedGemma Hugging Face}
    howpublished = {\url{https://huggingface.co/collections/google/medgemma-release-680aade845f90bec6a3f60c4}},
    year = {2025},
    note = {Accessed: [插入访问日期，例如2025-05-20]}
}

输入和输出

输入:

• 文本字符串，如问题或提示
• 图像，归一化为896 x 896分辨率并编码为256 tokens
• 总输入长度为128K tokens

输出:

• 生成的文本响应，如问题的答案、图像内容分析或文档摘要
• 总输出长度为8192 tokens

性能和验证

MedGemma在多模态分类、报告生成、视觉问答和基于文本的任务上进行了广泛评估。

关键性能指标

影像评估

MedGemma 4B的多模态性能在多个基准上进行了评估，重点关注放射学、皮肤病学、组织病理学、眼科学和多模态临床推理。

MedGemma 4B在所有测试的多模态健康基准上均优于基础Gemma 3 4B模型。

任务和指标	MedGemma 4B	Gemma 3 4B
医学图像分类
MIMIC CXR - 前5种条件的平均F1	88.9	81.1
CheXpert CXR - 前5种条件的平均F1	48.1	31.2
DermMCQA* - 准确率	71.8	42.6
视觉问答
SlakeVQA（放射学）- Tokenized F1	62.3	38.6
VQA-Rad**（放射学）- Tokenized F1	49.9	38.6
PathMCQA（组织病理学，内部***）- 准确率	69.8	37.1
知识和推理
MedXpertQA（文本+多模态问题）- 准确率	18.8	16.4

*基于参考文献，每个示例作为皮肤状况分类的4项选择题呈现。

**基于平衡分割，参见参考文献。

***基于多个数据集，每个示例作为3-9项选择题呈现，用于乳腺癌、宫颈癌和前列腺癌的识别、分级和亚型分类。

胸部X光报告生成

MedGemma胸部X光（CXR）报告生成性能在MIMIC-CXR上使用RadGraph F1指标进行了评估。我们将MedGemma预训练检查点与我们之前用于CXR报告生成的最佳模型PaliGemma 2进行了比较。

指标	MedGemma 4B（预训练）	PaliGemma 2 3B（针对CXR调优）	PaliGemma 2 10B（针对CXR调优）
胸部X光报告生成
MIMIC CXR - RadGraph F1	29.5	28.8	29.5

MedGemma 4B和Gemma 3 4B的指令调优版本由于报告风格与MIMIC真实报告的差异，得分较低（分别为0.22和0.12）。在MIMIC报告上进行进一步微调将使用户能够获得更好的性能。

文本评估

MedGemma 4B和纯文本MedGemma 27B在多个纯文本基准上进行了医学知识和推理评估。

MedGemma模型在所有测试的纯文本健康基准上均优于各自的基础Gemma模型。

指标	MedGemma 27B	Gemma 3 27B	MedGemma 4B	Gemma 3 4B
MedQA（4项）	89.8（最佳5次） 87.7（0次）	74.9	64.4	50.7
MedMCQA	74.2	62.6	55.7	45.4
PubMedQA	76.8	73.4	73.4	68.4
MMLU Med（仅文本）	87.0	83.3	70.0	67.2
MedXpertQA（仅文本）	26.7	15.7	14.2	11.6
AfriMed-QA	84.0	72.0	52.0	48.0

对于所有MedGemma 27B结果，使用了测试时缩放来提高性能。

伦理和安全评估

评估方法

我们的评估方法包括结构化评估和相关内容政策的内部红队测试。红队测试由多个团队进行，每个团队有不同的目标和人工评估指标。这些模型针对多个与伦理和安全相关的类别进行了评估，包括：

• 儿童安全: 评估涵盖儿童安全政策的文本到文本和图像到文本提示，包括儿童性虐待和剥削。
• 内容安全: 评估涵盖安全政策的文本到文本和图像到文本提示，包括骚扰、暴力和血腥内容以及仇恨言论。
• 代表性危害: 评估涵盖安全政策的文本到文本和图像到文本提示，包括偏见、刻板印象以及有害关联或不准确信息。
• 一般医疗危害: 评估涵盖安全政策的文本到文本和图像到文本提示，包括信息质量和有害关联或不准确信息。

除了开发级别的评估外，我们还进行“保证评估”，这是我们为责任治理决策提供的“独立”内部评估。这些评估与模型开发团队分开进行，以告知发布决策。高级别发现会反馈给模型团队，但提示集会被保留以防止过拟合并保留结果对决策的参考能力。显著的保证评估结果会报告给我们的责任与安全委员会作为发布审查的一部分。

评估结果

在所有安全测试领域，我们在儿童安全、内容安全和代表性危害类别中看到了安全水平的性能。所有测试都是在没有安全过滤器的情况下进行的，以评估模型的能力和行为。对于文本到文本、图像到文本和音频到文本，以及两种MedGemma模型大小，模型产生的政策违规最少。我们评估的一个限制是它们主要包含英语提示。

数据卡

数据集概述

训练

基础Gemma模型在大量文本和代码数据上进行了预训练。MedGemma 4B使用了一个SigLIP图像编码器，该编码器专门针对多种去标识化医疗数据进行了预训练，包括放射学图像、组织病理学图像、眼科图像和皮肤病图像。其LLM组件在多样化的医学数据上进行了训练，包括与放射学图像、胸部X光、组织病理学切片、眼科图像和皮肤病图像相关的医学文本。

评估

MedGemma模型已在全面的临床相关基准上进行了评估，包括超过22个数据集，涵盖5个不同任务和6种医学图像模态。这些基准包括开放基准数据集和精选数据集，重点关注专家人工评估的任务，如CXR报告生成和放射学VQA。

来源

MedGemma使用了公共和私有数据集的组合。

该模型在多样化的公共数据集上进行了训练，包括MIMIC-CXR（胸部X光和报告）、Slake-VQA（多模态医学图像和问题）、PAD-UFES-20（皮肤病变图像和数据）、SCIN（皮肤病图像）、TCGA（癌症基因组数据）、CAMELYON（淋巴结组织病理学图像）、PMC-OA（带有图像的生物医学文献）和Mendeley Digital Knee X-Ray（膝关节X光）。

此外，还整合了多个多样化的专有数据集（如下所述）。

数据所有权和文档

• Mimic-CXR: MIT计算生理学实验室和Beth Israel Deaconess医疗中心（BIDMC）。
• Slake-VQA: 香港理工大学（PolyU），合作者包括四川大学华西医院和四川省医学科学院/四川省人民医院。
• PAD-UFES-20: 巴西Espírito Santo联邦大学（UFES），通过其皮肤病和外科援助计划（PAD）。
• SCIN: Google Health与斯坦福医学院的合作项目。
• TCGA（癌症基因组图谱）: 美国国家癌症研究所和国家人类基因组研究所的联合项目。TCGA的数据可通过基因组数据共享（GDC）获取。
• CAMELYON: 数据来自荷兰Radboud大学医学中心和乌得勒支大学医学中心。
• PMC-OA（PubMed Central开放获取子集）: 由美国国家医学图书馆（NLM）和国家生物技术信息中心（NCBI）维护，隶属于NIH。
• MedQA: 该数据集由Di Jin、Eileen Pan、Nassim Oufattole、Wei-Hung Weng、Hanyi Fang和Peter Szolovits领导的研究团队创建。
• Mendeley Digital Knee X-Ray: 该数据集来自Rani Channamma大学，托管在Mendeley Data上。
• AfriMed-QA: 该数据由多个合作组织和研究人员开发，主要贡献者包括：Intron Health、SisonkeBiotik、BioRAMP、乔治亚理工学院和MasakhaneNLP。
• VQA-RAD: 该数据集由Jason J. Lau、Soumya Gayen、Asma Ben Abacha和Dina Demner-Fushman及其附属机构（美国国家医学图书馆和国家卫生研究院）的研究团队创建。
• MedExpQA: 该数据集由HiTZ中心（巴斯克语言技术和人工智能中心）的研究人员创建。
• MedXpertQA: 该数据集由清华大学（中国北京）和上海人工智能实验室（中国上海）的研究人员开发。

除了上述公共数据集外，MedGemma还在用于研究的去标识数据集或Google内部从同意参与者收集的数据上进行了训练。

• 放射学数据集1: 来自美国放射学门诊诊断中心网络的不同CT研究的去标识数据集。
• 眼科学数据集1: 来自糖尿病视网膜病变筛查的眼底图像去标识数据集。
• 皮肤病数据集1: 来自哥伦比亚远程皮肤病学的皮肤状况图像（临床和皮肤镜）的去标识数据集。
• 皮肤病数据集2: 来自澳大利亚的皮肤癌图像（临床和皮肤镜）的去标识数据集。
• 皮肤病数据集3: 来自内部数据收集工作的非病变皮肤图像的去标识数据集。
• 病理学数据集1: 与欧洲学术研究医院和生物库合作创建的H&E全切片组织病理学图像的去标识数据集。包括去标识的结肠、前列腺和淋巴结。
• 病理学数据集2: 由美国商业生物库创建的肺H&E和IHC全切片组织病理学图像的去标识数据集。
• 病理学数据集3: 由美国合同研究组织创建的前列腺和淋巴结H&E和IHC组织病理学全切片图像的去标识数据集。
• 病理学数据集4: 与美国大型三级教学医院合作创建的H&E全切片组织病理学图像的去标识数据集。包括多种组织和染色类型，主要是H&E。

数据引用

• MIMIC-CXR Johnson, A., Pollard, T., Mark, R., Berkowitz, S., & Horng, S. (2024). MIMIC-CXR Database (version 2.1.0). PhysioNet.
• Johnson, A.E.W., Pollard, T.J., Berkowitz, S.J. et al. MIMIC-CXR, a de-identified publicly available database of chest radiographs with free-text reports. Sci Data 6, 317 (2019).
• Available on Physionet Goldberger, A., Amaral, L., Glass, L., Hausdorff, J., Ivanov, P. C., Mark, R., ... & Stanley, H. E. (2000). PhysioBank, PhysioToolkit, and PhysioNet: Components of a new research resource for complex physiologic signals. Circulation [Online]. 101 (23), pp. E215–e220.
• Bo Liu, Li-Ming Zhan, etc. SLAKE: A Semantically-Labeled Knowledge-Enhanced Dataset for Medical Visual Question Answering.
• PAD-UFES-20: A skin lesion dataset composed of patient data and clinical images collected from smartphones
• The Cancer Genome Atlas Program (TCGA)
• Babak Ehteshami Bejnordi, etc.: Diagnostic Assessment of Deep Learning Algorithms for Detection of Lymph Node Metastases in Women With Breast Cancer
• MedQA: https://arxiv.org/abs/2009.13081
• Mendeley Digital Knee X-Ray: Gornale, Shivanand; Patravali, Pooja (2020), "Digital Knee X-ray Images", Mendeley Data, V1, doi: 10.17632/t9ndx37v5h.1
• AfriMed-QA: https://arxiv.org/abs/2411.15640
• VQA-RAD: Lau, J., Gayen, S., Ben Abacha, A. et al. A dataset of clinically generated visual questions and answers about radiology images. Sci Data 5, 180251 (2018). https://doi.org/10.1038/sdata.2018.251
• MedExpQA: Multilingual benchmarking of Large Language Models for Medical Question Answering
• MedXpertQA: arXiv:2501.18362v2

去标识化/匿名化:

Google及其合作伙伴使用经过严格匿名化或去标识化的数据集，以确保个体研究参与者和患者隐私的保护。

实现信息

有关模型内部的详细信息。

软件

训练使用JAX完成。

JAX允许研究人员利用包括TPU在内的最新硬件，更快、更高效地训练大型模型。

使用和限制

预期用途

MedGemma是一个开放的多模态生成AI模型，旨在作为起点，使涉及医学文本和图像的医疗保健应用开发更加高效。MedGemma面向生命科学和医疗保健领域的开发者。开发者负责训练、调整和进行有意义的修改，以实现其特定的预期用途。开发者可以使用自己的专有数据对MedGemma模型进行微调，以完成其特定任务或解决方案。

MedGemma基于Gemma 3，并进一步在医学图像和文本上进行了训练。MedGemma支持任何医学背景（图像和文本）的进一步开发，但该模型使用胸部X光、病理学、皮肤病学和眼底图像进行了预训练。MedGemma训练中的任务示例包括与医学图像（如放射照片）相关的视觉问答，或回答文本医学问题。MedGemma评估的所有任务的完整细节将在即将发布的技术报告中提供。

优势

• 为其规模的模型提供强大的医学图像和文本理解基线。
• 这种强大的性能使其在适应下游医疗保健用例时比没有医学数据预训练的类似规模模型更高效。
• 这种适应可能涉及提示工程、基础、代理编排或微调，具体取决于用例、基线验证要求和期望的性能特征。

限制

MedGemma不适用于未经适当验证、调整和/或开发者对其特定用例进行有意义修改的情况。MedGemma生成的输出不旨在直接指导临床诊断、患者管理决策、治疗建议或任何其他直接临床应用。性能基准突出了相关基准上的基线能力，但即使对于构成训练数据重要部分的图像和文本领域，也可能出现不准确的模型输出。所有来自MedGemma的输出应被视为初步结果，需要通过独立验证、临床关联和通过既定研究和开发方法进行进一步调查。

MedGemma的多模态能力主要在单图像任务上进行了评估。MedGemma尚未在涉及多图像理解的用例中进行评估。

MedGemma尚未在多轮应用中进行评估或优化。

MedGemma的训练可能使其比Gemma 3对使用的特定提示更敏感。

在适应MedGemma时，开发者应考虑以下事项：

• 验证数据中的偏见: 与任何研究一样，开发者应确保任何下游应用都经过验证，以了解在特定应用预期使用环境中（如年龄、性别、性别、状况、成像设备等）使用适当代表性数据的性能。
• 数据污染问题: 在评估像MedGemma这样的大型模型在医学背景下的泛化能力时，存在数据污染的风险，模型可能在预训练过程中无意中看到了相关的医学信息，可能高估了其对新医学概念的真正泛化能力。开发者应在非公开或非机构研究人员无法获取的数据集上验证MedGemma，以减轻这种风险。