language:

• ar license: apache-2.0 widget:
• text: "阿布扎比酋长国是阿拉伯联合酋长国七个酋长国之一"

CAMeLBERT-DA 命名实体识别模型

模型描述

CAMeLBERT-DA NER模型是通过微调CAMeLBERT阿拉伯语方言(DA)模型构建的命名实体识别模型。微调过程中使用了ANERcorp数据集。我们的微调流程和超参数设置详见论文《阿拉伯语预训练语言模型中变体、规模与任务类型的交互影响》，完整代码已开源在CAMeLBERT项目。

使用场景

推荐通过CAMeL工具集的NER组件调用本模型，也可直接通过transformers管道使用。

使用方法

通过CAMeL工具集调用：

>>> from camel_tools.ner import NERecognizer
>>> from camel_tools.tokenizers.word import simple_word_tokenize
>>> ner = NERecognizer('CAMeL-Lab/bert-base-arabic-camelbert-da-ner')
>>> sentence = simple_word_tokenize('阿布扎比酋长国是阿拉伯联合酋长国七个酋长国之一')
>>> ner.predict_sentence(sentence)
>>> ['O', 'B-LOC', 'O', 'O', 'O', 'O', 'B-LOC', 'I-LOC', 'I-LOC', 'O']

通过transformers管道调用：

>>> from transformers import pipeline
>>> ner = pipeline('ner', model='CAMeL-Lab/bert-base-arabic-camelbert-da-ner')
>>> ner("阿布扎比酋长国是阿拉伯联合酋长国七个酋长国之一")
[{'word': '阿布扎比',
  'score': 0.9895730018615723,
  'entity': 'B-LOC',
  'index': 2,
  'start': 6,
  'end': 12},
 {'word': '阿拉伯',
  'score': 0.8156259655952454,
  'entity': 'B-LOC',
  'index': 8,
  'start': 33,
  'end': 41},
 {'word': '联合',
  'score': 0.890906810760498,
  'entity': 'I-LOC',
  'index': 9,
  'start': 42,
  'end': 49},
 {'word': '酋长国',
  'score': 0.8169114589691162,
  'entity': 'I-LOC',
  'index': 10,
  'start': 50,
  'end': 57}]

注意：需使用transformers>=3.5.0版本，或手动下载模型文件。

文献引用

@inproceedings{inoue-etal-2021-interplay,
    title = "阿拉伯语预训练语言模型中变体、规模与任务类型的交互影响",
    author = "井上豪 and 阿尔哈夫尼·巴沙尔 and 拜穆坎·努尔佩伊斯 and 布阿穆尔·胡达 and 哈巴什·尼扎尔",
    booktitle = "第六届阿拉伯自然语言处理研讨会论文集",
    month = "4月",
    year = "2021",
    address = "乌克兰基辅(线上)",
    publisher = "计算语言学协会",
    abstract = "本文系统研究了阿拉伯语预训练语言模型中语言变体、数据规模和微调任务类型的交互影响。我们构建了涵盖现代标准阿拉伯语、方言阿拉伯语和古典阿拉伯语的三类预训练模型，以及融合三者的混合模型。通过在不同规模数据集上预训练，并在5类NLP任务(12个数据集)上测试，发现微调数据与预训练数据的语言变体相似性比预训练数据规模更重要。这一发现为阿拉伯语NLP任务中的模型选择提供了优化依据。",
}