语言:

• 阿拉伯语 许可证: apache-2.0 组件示例:
• 文本: '最近怎么样？'

CAMeLBERT-CA 埃及方言词性标注模型

模型描述

CAMeLBERT-CA POS-EGY模型是通过微调CAMeLBERT-CA模型构建的埃及阿拉伯语词性标注模型。微调过程中使用了ARZTB数据集。具体微调流程和超参数设置可参阅论文*《阿拉伯语预训练语言模型中变体、规模与任务类型的相互作用》*(原文链接)，相关代码已开源在CAMeLBERT项目。

应用场景

本模型可作为transformers流水线组件使用，后续也将集成至CAMeL工具集。

调用方式

通过transformers流水线调用：

>>> from transformers import pipeline
>>> pos = pipeline('token-classification', model='CAMeL-Lab/bert-base-arabic-camelbert-ca-pos-egy')
>>> text = '最近怎么样？'
>>> pos(text)
[{'entity': '形容词', 'score': 0.9990943, 'index': 1, 'word': '最近', 'start': 0, 'end': 2}, 
 {'entity': '疑问代词', 'score': 0.99863535, 'index': 2, 'word': '怎么样', 'start': 3, 'end': 6}, 
 {'entity': '标点', 'score': 0.99990875, 'index': 3, 'word': '？', 'start': 7, 'end': 8}]

注意：需使用transformers>=3.5.0版本，或手动下载模型文件。

文献引用

@inproceedings{inoue-etal-2021-interplay,
    title = "阿拉伯语预训练语言模型中变体、规模与任务类型的相互作用",
    author = "井上刚, 巴沙尔·阿尔哈夫尼, 努尔佩伊斯·拜穆坎, 胡达·布阿穆尔, 尼扎尔·哈巴什",
    booktitle = "第六届阿拉伯自然语言处理研讨会论文集",
    month = "4月",
    year = "2021",
    address = "乌克兰基辅(线上)",
    publisher = "计算语言学协会",
    abstract = "本文系统研究了阿拉伯语预训练语言模型中语言变体、数据规模和微调任务类型的影响机制。通过构建覆盖现代标准阿拉伯语、方言阿拉伯语和古典阿拉伯语的三类预训练模型，以及混合训练模型，并控制现代标准阿拉伯语的训练数据规模进行对比实验。在12个数据集涵盖的5类NLP任务上测试表明：预训练数据与微调数据的变体相似度比数据规模更具决定性作用，据此我们建立了面向特定任务的优化系统选择模型。",
}