语言:

• 多语言
• 南非荷兰语
• 阿拉伯语
• 保加利亚语
• 孟加拉语
• 德语
• 希腊语
• 英语
• 西班牙语
• 爱沙尼亚语
• 巴斯克语
• 波斯语
• 芬兰语
• 法语
• 希伯来语
• 印地语
• 匈牙利语
• 印尼语
• 意大利语
• 日语
• 爪哇语
• 格鲁吉亚语
• 哈萨克语
• 韩语
• 马拉雅拉姆语
• 马拉地语
• 马来语
• 缅甸语
• 荷兰语
• 葡萄牙语
• 俄语
• 斯瓦希里语
• 泰米尔语
• 泰卢固语
• 泰语
• 他加禄语
• 土耳其语
• 乌尔都语
• 越南语
• 约鲁巴语
• 中文 语言代码:
• fa-IR

XLM-R + 命名实体识别

本模型是基于XLM-Roberta-base在XTREME提出的40种语言上，使用Wikiann数据集进行微调的命名实体识别模型。目前仍在持续优化中，结果将随性能提升定期更新。

覆盖的实体标签包括：

地点(LOC)
组织(ORG)
人物(PER)
其他(O)

评估集指标：

40种语言平均表现

文档总数：262,300

          精确率   召回率  F1值   支持数

     组织  0.81    0.81    0.81   102452
     人物  0.90    0.91    0.91   108978
     地点  0.86    0.89    0.87   121868

微观平均  0.86    0.87    0.87   333298
宏观平均  0.86    0.87    0.87   333298

（后续各语言详细指标翻译示例）

南非荷兰语

文档数：1,000

          精确率   召回率  F1值   支持数

     组织  0.89    0.88    0.88     582
     人物  0.89    0.97    0.93     369
     地点  0.84    0.90    0.86     518

微观平均  0.87    0.91    0.89    1469
宏观平均  0.87    0.91    0.89    1469

（其余语言指标按相同格式翻译...）

复现结果

从XTREME仓库下载并准备数据集。然后在transformers库根目录下运行：

cd examples/ner
python run_tf_ner.py \
--data_dir . \
--labels ./labels.txt \
--model_name_or_path jplu/tf-xlm-roberta-base \
--output_dir model \
--max-seq-length 128 \
--num_train_epochs 2 \
--per_gpu_train_batch_size 16 \
--per_gpu_eval_batch_size 32 \
--do_train \
--do_eval \
--logging_dir logs \
--mode token-classification \
--evaluate_during_training \
--optimizer_name adamw

使用Pipeline示例

from transformers import pipeline

nlp_ner = pipeline(
    "ner",
    model="jplu/tf-xlm-r-ner-40-lang",
    tokenizer=(
        'jplu/tf-xlm-r-ner-40-lang',  
        {"use_fast": True}),
    framework="tf"
)

# 多语言测试示例
text_fr = "巴拉克·奥巴马出生于夏威夷。"
text_en = "Barack Obama was born in Hawaii."
text_es = "Barack Obama nació en Hawai."
text_zh = "巴拉克·奥巴马（Barack Obama）出生于夏威夷。"
text_ar = "ولد باراك أوباما في هاواي."

nlp_ner(text_fr)
# 输出: [{'word': '▁Barack', 'score': 0.989, 'entity': 'PER'}, ...]
nlp_ner(text_zh) 
# 输出: [{'word': '夏威夷', 'score': 0.998, 'entity': 'LOC'}]