语言: 英文
缩略图: https://github.com/studio-ousia/luke/raw/master/resources/luke_logo.png
标签:

• luke
• 命名实体识别
• 实体类型标注
• 关系分类
• 问答系统
  许可证: apache-2.0

LUKE：基于实体感知自注意力机制的深度上下文实体表示

LUKE（Language Understanding with Knowledge-based Embeddings）是一种基于Transformer的全新预训练上下文表示方法，专门针对单词和实体设计。LUKE将给定文本中的单词和实体视为独立标记，并输出它们的上下文相关表示。该模型采用了一种实体感知的自注意力机制——这是对Transformer原有自注意力机制的扩展，在计算注意力分数时会考虑标记的类型（单词或实体）。

LUKE在五项主流自然语言处理基准测试中取得了最先进的结果，包括：

• SQuAD v1.1（抽取式问答）
• CoNLL-2003（命名实体识别）
• ReCoRD（完形填空式问答）
• TACRED（关系分类）
• Open Entity（实体类型标注）

更多详情与更新请访问官方代码库。

此为包含24个隐藏层、1024维隐藏大小的LUKE大型模型，参数量总计4.83亿。模型训练基于2018年12月版本的维基百科数据。

实验结果

各任务表现如下：

引用

如果LUKE对您的研究有所帮助，请引用以下论文：

@inproceedings{yamada2020luke,  
  title={LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention},  
  author={Ikuya Yamada and Akari Asai and Hiroyuki Shindo and Hideaki Takeda and Yuji Matsumoto},  
  booktitle={EMNLP},  
  year={2020}  
}