license: apache-2.0 language:

• de

medBERT.de：面向医疗领域的综合性德语BERT模型

medBERT.de 是基于BERT架构的德语医学自然语言处理模型，专门针对海量医学文本、临床记录、研究论文及医疗相关文档进行微调训练。该模型设计用于执行医疗领域的多种NLP任务，如医学信息抽取、诊断预测等。

模型详情：

架构

medBERT.de 采用原始BERT论文（Devlin等人提出的《BERT：面向语言理解的深度双向Transformer预训练》）所述的标准架构。模型使用多层双向Transformer编码器，能够从输入文本的左右双向捕获上下文信息。该模型包含12个层级，每层768个隐藏单元，每层8个注意力头，单次输入序列最多可处理512个标记。

训练数据：

medBERT.de 的微调训练数据涵盖医学文本、临床记录、研究论文和医疗相关文档。多样化的数据确保模型精通各医学子领域，能处理广泛的医疗NLP任务。下表概述了预训练数据来源：

所有训练数据均经过完全匿名化处理，患者相关上下文已全部移除。

预处理：

输入文本采用WordPiece分词技术处理，将文本分解为子词单元以更好捕捉罕见词或超纲词。我们保留原始大小写格式且未移除特殊字符。medBERT.de 配备专为德语医疗语言优化的定制分词器。

性能指标：

我们在多项下游任务上微调medBERT.de，并与德语医疗领域其他前沿BERT模型对比。下表展示基于放射学报告的典型分类任务结果（更多细节请参阅论文）：

公平性与偏差

训练数据存在潜在偏差：

• 地域偏差：主要临床数据来自德国柏林某医院，可能偏向该地区医疗实践术语
• 人口统计偏差：患者群体可能无法代表德国或全球人口特征
• 专科偏差：放射学报告占比过高可能导致模型过度偏向该专科语言特征

安全与隐私

• 匿名化：所有临床数据已去除个人身份信息
• 模型安全：设计时已考虑对抗攻击防护，未发现信息泄露证据

局限性

• 泛化能力：对训练集未覆盖的新/罕见医学术语处理能力有限
• 语言局限：仅适用于德语语境
• 上下文误解：可能偶发语境理解错误
• 信息验证：不具备医疗信息真实性验证能力
• 法律限制：禁止用于临床决策

使用条款

使用者同意：

1. 仅将模型用于科研辅助用途
2. 遵守数据隐私法规
3. 不进行对抗攻击或信息提取
4. 不用于临床诊疗决策

引用格式

@article{medbertde,
    title={MEDBERT.de: 面向医疗领域的综合性德语BERT模型},
    author={Bressem等人},
    journal={arXiv预印本},
    year={2023},
    doi={10.48550/arXiv.2303.08179}
}