语言:

• 多语言
• 阿拉伯语
• 孟加拉语
• 德语
• 希腊语
• 英语
• 西班牙语
• 芬兰语
• 法语
• 印地语
• 印尼语
• 意大利语
• 日语
• 韩语
• 荷兰语
• 波兰语
• 葡萄牙语
• 俄语
• 瑞典语
• 斯瓦希里语
• 泰卢固语
• 泰语
• 土耳其语
• 越南语
• 中文 缩略图: https://github.com/studio-ousia/luke/raw/master/resources/luke_logo.png 标签:
• luke
• 命名实体识别
• 关系分类
• 问答系统 许可证: apache-2.0

mLUKE

mLUKE（多语言LUKE）是LUKE的多语言扩展版本。

更多详情和更新，请查看官方仓库。

这是mLUKE的大型模型，包含24个隐藏层，768个隐藏单元。该模型总参数量为868M（其中561M用于词嵌入和编码器，307M用于实体嵌入）。模型权重初始化为XLM-RoBERTa（大型）的权重，并使用2020年12月版本的24种语言维基百科数据进行训练。

注意

当您使用AutoModel.from_pretrained加载默认配置的模型时，会看到以下警告：

模型检查点studio-ousia/mluke-base-lite的部分权重在初始化LukeModel时未被使用：[
'luke.encoder.layer.0.attention.self.w2e_query.weight', 'luke.encoder.layer.0.attention.self.w2e_query.bias', 
'luke.encoder.layer.0.attention.self.e2w_query.weight', 'luke.encoder.layer.0.attention.self.e2w_query.bias', 
'luke.encoder.layer.0.attention.self.e2e_query.weight', 'luke.encoder.layer.0.attention.self.e2e_query.bias', 
...]

这些权重是为实体感知注意力机制准备的（如LUKE论文所述）。这是预期现象，因为默认情况下use_entity_aware_attention设置为false，但预训练权重包含了相关参数，以便在启用use_entity_aware_attention时能加载这些权重到模型中。

引用

如果您发现mLUKE对您的工作有帮助，请引用以下论文：

@inproceedings{ri-etal-2022-mluke,
    title = "m{LUKE}: {多语言预训练语言模型中实体表示的力量}",
    author = "Ri, Ryokan  and
      Yamada, Ikuya  and
      Tsuruoka, Yoshimasa",
    booktitle = "第60届计算语言学协会年会论文集（第一卷：长论文）",
    year = "2022",
    url = "https://aclanthology.org/2022.acl-long.505",