语言: 中文
缩略图: https://github.com/studio-ousia/luke/raw/master/resources/luke_logo.png
标签:

• luke
• 命名实体识别
• 实体类型标注
• 关系分类
• 问答系统
  许可证: apache-2.0

LUKE：基于实体感知自注意力机制的深度上下文实体表示

LUKE（Language Understanding with Knowledge-based Embeddings）是一种基于Transformer的全新预训练上下文表示方法，专门针对单词和实体设计。LUKE将文本中的单词和实体视为独立标记，并输出它们的上下文相关表示。该模型采用了一种实体感知的自注意力机制——这是对Transformer原有自注意力机制的扩展，在计算注意力分数时会考虑标记的类型（单词或实体）。

LUKE在五项主流NLP基准测试中取得了最先进的成果，包括：

• SQuAD v1.1（抽取式问答）
• CoNLL-2003（命名实体识别）
• ReCoRD（完形填空式问答）
• TACRED（关系分类）
• Open Entity（实体类型标注）

更多详情和更新请访问官方代码库。

此为LUKE基础模型，包含12个隐藏层，768维隐藏大小，参数量总计2.53亿。训练数据采用2018年12月版本的维基百科。

实验结果

实验结果如下表所示：

引用

如果您的研究工作中使用了LUKE，请引用以下论文：

@inproceedings{yamada2020luke,  
  title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention},  
  author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto},  
  booktitle={EMNLP},  
  year={2020}  
}