许可协议：apache-2.0
支持语言：

• 日语

标签：

• luke
• 命名实体识别

此模型基于studio-ousia/luke-japanese-base进行了以下改进：

• 将基础模型从RoBERTa切换为日语BERT，相应地将分词器从Sentencepiece改为WordPiece
• 使用截至2023年7月1日的日语Wikipedia数据进行了预训练
• 新增支持处理[UNK]（未知）实体

详情请参阅博客文章。

使用方法

from transformers import AutoTokenizer, AutoModel

# 因需加载本模型专用分词器代码，必须指定trust_remote_code=True
tokenizer = AutoTokenizer.from_pretrained("uzabase/luke-japanese-wordpiece-base", trust_remote_code=True)

model = AutoModel.from_pretrained("uzabase/luke-japanese-wordpiece-base")

更新日志

• 2023/11/28: 完成以下更新：
  • 修复了transformers v4.34.0及以上版本无法加载分词器的问题。
  • 调整分词器输出使其包含position_ids。
    • 此前模型使用的position_ids由LUKE自动生成，该实现基于RoBERTa规范，与采用BERT的本模型不兼容。现通过显式在分词器输出中添加position_ids，确保输入模型的数值符合BERT规范。
  • 移除了分词器entity_vocab中各词汇（除"[PAD]"等特殊标记外）前缀的"None:"字符串。
    • 例如：原标记"None:圣德太子"已修正为"圣德太子"。
• 2023/09/07: 模型正式发布。