语言:

• 英文 缩略图: "https://www.onebraveidea.org/wp-content/uploads/2019/07/OBI-Logo-Website.png" 标签:
• 去标识化
• 医疗记录
• 电子健康档案
• 受保护健康信息 数据集:
• I2B2 评估指标:
• F1值
• 召回率
• 精确率 示例输入:
• 文本: "医生出院小结 入院日期: 1982年10月12日 出院日期: 1982年10月22日 患者信息 Jack Reacher, 54岁男性 (出生日期=1928年1月21日)。"
• 文本: "家庭住址: 加利福尼亚州圣地亚哥公园大道123号，邮编03245。家庭电话: 202-555-0199（住宅）。"
• 文本: "住院治疗团队 科室: 骨科 主治医师: Roger C Kelly, MD 主治医师电话: (634)743-5135 出院病区: HCS843 初级保健医师: Hassan V Kim, MD 512-832-5025。" 许可证: mit

模型描述

• 基于RoBERTa [Liu等, 2019]模型微调，用于医疗记录的去标识化。
• 序列标注（标记分类）：该模型训练用于预测受保护健康信息（PHI/PII）实体（片段）。受保护健康信息类别清单由HIPAA提供。
• 每个标记可分类为非PHI或11种PHI类型之一。通过BILOU标注将标记预测聚合为片段。
• 训练使用的PHI标签及其他详情参见：标注指南
• 更多关于模型使用、数据格式等实用信息详见GitHub仓库：鲁棒去标识化。

使用方法

• 模型工作原理演示（使用模型预测对医疗记录去标识化）参见：医疗记录去标识化。
• 模型前向传播步骤参见：前向传播
• 简要步骤：
  • 分句（模型将句子重新聚合为记录级别）并标记化数据集。
  • 使用本模型的预测函数收集预测结果（即每个标记的预测）。
  • 此外，模型预测可用于从原始记录/文本中移除PHI。

数据集

• 使用I2B2 2014 [Stubbs和Uzuner, 2015]数据集训练本模型。

训练流程

• 模型训练步骤参见：训练。"model_name_or_path"设置为："roberta-large"。

  • 数据集使用spacy的en_core_sci_sm分句器分句。
  • 数据集随后使用基于spacy的en_core_sci_sm标记器的自定义标记器标记化。
  • 每个句子左侧添加32个标记（来自前文），右侧添加32个标记（来自后文）。
  • 添加的标记不用于学习——即不在这些标记上计算损失——仅作为额外上下文。
  • 每个序列最多包含128个标记（包括添加的32个标记）。较长序列会被分割。
  • 使用基于BILOU标注的分句和标记化数据集及标记级标签训练模型。
  • 模型基于预训练RoBERTa模型微调。

• 训练详情：

  • 输入序列长度：128
  • 批量大小：32（16，2梯度累积步）
  • 优化器：AdamW
  • 学习率：5e-5
  • 丢弃率：0.1

结果

问题？

在仓库提交GitHub问题：鲁棒去标识化。