语言:

• 阿拉伯语 许可证: Apache-2.0 小部件示例:
• 文本: "عامل ايه ؟"

CAMeLBERT-MSA DID MADAR Twitter-5 模型

模型描述

CAMeLBERT-MSA DID MADAR Twitter-5 模型 是一个方言识别（DID）模型，通过微调 CAMeLBERT-MSA 模型构建而成。微调过程中使用了包含21个标签的 MADAR Twitter-5 数据集。我们的微调流程及超参数设置详见论文 "The Interplay of Variant, Size, and Task Type in Arabic Pre-trained Language Models"，相关代码已开源在 CAMeLBERT项目。

使用场景

本模型可作为transformers pipeline组件使用，也将集成至CAMeL Tools。

调用方式

通过transformers pipeline调用：

>>> from transformers import pipeline
>>> did = pipeline('text-classification', model='CAMeL-Lab/bert-base-arabic-camelbert-msa-did-madar-twitter5')
>>> sentences = ['عامل ايه ؟', 'شلونك ؟ شخبارك ؟']
>>> did(sentences)
[{'label': '埃及方言', 'score': 0.5741344094276428},
 {'label': '科威特方言', 'score': 0.5225679278373718}]

注意：需使用transformers>=3.5.0版本，或手动下载模型文件。

文献引用

@inproceedings{inoue-etal-2021-interplay,
    title = "阿拉伯语预训练模型中变体、规模与任务类型的交互影响",
    author = "井上刚 and 阿尔哈夫尼·巴沙尔 and 拜穆坎·努尔佩伊斯 and 布阿穆尔·胡达 and 哈巴什·尼扎尔",
    booktitle = "第六届阿拉伯自然语言处理研讨会论文集",
    month = "4月",
    year = "2021",
    address = "乌克兰基辅（线上）",
    publisher = "计算语言学协会",
    abstract = "本文系统研究了阿拉伯语预训练模型中语言变体、数据规模和微调任务类型的影响机制。我们构建了涵盖现代标准阿拉伯语、方言阿拉伯语和古典阿拉伯语的三类预训练模型，以及三者混合的第四类模型。通过在现代标准阿拉伯语变体上构建不同数据规模的对比模型，我们在涵盖12个数据集的5项NLP任务上进行了系统测试。结果表明：预训练数据与微调数据的变体相似度比预训练数据规模更具决定性作用，据此我们提出了面向特定任务的优化模型选择方案。",
}