语言: 中文 标签:

• exbert 许可证: mit 任务标签: 特征提取 小部件示例:
• 文本: " ER 拥挤已成为普遍问题。"

KRISSBERT模型

论文链接

实体链接面临两大核心挑战：实体名称的多样性变异和普遍存在的歧义性，尤其在包含海量实体的高价值领域。传统分类方法受限于标注瓶颈，难以有效处理未登录实体。零样本实体链接虽展现出对新实体的泛化潜力，但仍需训练阶段的金标实体指称示例和所有实体的规范描述——这两者在维基百科之外极难获取（参见Logeswaran等2019、Wu等2020的研究）。我们探索了知识增强自监督学习框架（KRISS），通过利用易获取的无标注文本和领域知识，训练出面向实体链接的上下文编码器（KRISSBERT）。

具体实现上，KRISSBERT模型以PubMedBERT参数初始化，继而基于UMLS本体的生物医学实体名称，对PubMed摘要进行自监督实体链接预训练。在七个标准生物医学实体链接数据集上的实验表明，KRISSBERT实现了最先进性能，准确率较先前自监督方法最高提升20个百分点。详见Zhang等2021。

需特别指出，如BioSyn、SapBERT等系统虽宣称实现实体链接，但其完全忽略实体指称的上下文，仅能预测实体字典中的表面形式（参见BioSyn论文图1），而无法输出规范实体ID（如UMLS中的CUI）。例如针对句子"ER拥挤已成为普遍问题"中的"ER"，这些系统无视上下文直接预测最接近的表面形式"ER"。实际上该缩写对应多个实体：急诊室（C0562508）、雌激素受体基因（C1414461）、内质网（C0014239）等。由于缺乏上下文理解，系统无法消歧确定正确实体（急诊室）。更严重的是，其评估会将此类模糊预测视为正确，导致论文报告的性能指标不能反映真实实体链接能力。

实体链接使用指南

本节以MedMentions数据为例，演示如何：1）生成原型嵌入；2）执行实体链接。

（因UMLS和PubMed的授权限制，我们暂无法公开自监督的指称示例数据。）

1. 创建conda环境并安装依赖

conda create -n kriss -y python=3.8 && conda activate kriss
pip install -r requirements.txt

2. 切换至usage目录

cd usage

3. 下载MedMentions数据集

git clone https://github.com/chanzuckerberg/MedMentions.git

4. 生成原型嵌入

python generate_prototypes.py

5. 运行实体链接

python run_entity_linking.py

预期可获得约58.3%的Top-1准确率。

引用规范

若KRISSBERT对您的研究有帮助，请引用：

@article{krissbert,
  author = {张胜, 程浩, Shikhar Vashishth, Cliff Wong, 肖金峰, 刘骁东, Tristan Naumann, 高剑峰, 潘海峰},
  title = {知识增强自监督学习在生物医学实体链接中的应用},
  year = {2021},
  url = {https://arxiv.org/abs/2112.07887},
  eprinttype = {arXiv},
  eprint = {2112.07887},
}