语言:

• 多语言
• 阿拉伯语
• 孟加拉语
• 德语
• 希腊语
• 英语
• 西班牙语
• 芬兰语
• 法语
• 印地语
• 印度尼西亚语
• 意大利语
• 日语
• 韩语
• 荷兰语
• 波兰语
• 葡萄牙语
• 俄语
• 瑞典语
• 斯瓦希里语
• 泰卢固语
• 泰语
• 土耳其语
• 越南语
• 中文 缩略图: https://github.com/studio-ousia/luke/raw/master/resources/luke_logo.png 标签:
• luke
• 命名实体识别
• 关系分类
• 问答系统 许可证: apache-2.0

mLUKE

mLUKE（多语言LUKE）是LUKE的多语言扩展版本。

更多详情和更新，请查看官方仓库。

这是mLUKE的基础模型，包含12个隐藏层，768个隐藏单元大小。该模型总参数量为585M（其中词嵌入和编码器占278M，实体嵌入占307M）。模型权重初始化为XLM-RoBERTa（基础版），并基于2020年12月版本的24种语言维基百科进行训练。

注意事项

当使用AutoModel.from_pretrained加载默认配置的模型时，您会看到以下警告信息：

部分模型权重在加载studio-ousia/mluke-base-lite时未被使用: [
'luke.encoder.layer.0.attention.self.w2e_query.weight', 'luke.encoder.layer.0.attention.self.w2e_query.bias', 
'luke.encoder.layer.0.attention.self.e2w_query.weight', 'luke.encoder.layer.0.attention.self.e2w_query.bias', 
'luke.encoder.layer.0.attention.self.e2e_query.weight', 'luke.encoder.layer.0.attention.self.e2e_query.bias', 
...]

这些权重对应于LUKE论文中描述的实体感知注意力机制。该警告属于预期现象，因为默认配置中use_entity_aware_attention参数设为false，但预训练权重仍保留了相关参数，以便在启用实体感知注意力功能时加载使用。

引用

如果您的研究工作受益于mLUKE，请引用以下论文：

@inproceedings{ri-etal-2022-mluke,
    title = "m{LUKE}: {多语言预训练语言模型中实体表示的力量}",
    author = "李, 亮观 和
      山田, 郁也 和
      鹤冈, 良昌",
    booktitle = "第60届计算语言学协会年会论文集（第一卷：长论文）",
    year = "2022",
    url = "https://aclanthology.org/2022.acl-long.505",