license: apache-2.0 datasets:

• arbml/SANAD language:
• ar base_model:
• answerdotai/ModernBERT-base pipeline_tag: text-classification library_name: transformers tags:
• modernbert
• arabic

阿拉伯语现代BERT主题分类模型

概述

[!注意] 这是一个实验性阿拉伯语模型，展示了如何将ModernBERT适配到阿拉伯语任务（如主题分类）中。

这是ModernBERT-base的实验性阿拉伯语版本，仅针对主题分类任务训练，使用了原始ModernBERT的基础模型和自定义阿拉伯语训练的分词器，具体细节如下：

• 数据集： 阿拉伯语维基百科
• 大小： 1.8 GB
• 词元数量： 228,788,529 个词元

该模型展示了如何将ModernBERT适配到阿拉伯语任务（如主题分类）中。

模型评估详情

• 训练轮次： 3
• 评估指标：
  • F1分数： 0.95
  • 损失值： 0.1998
• 训练步数： 47,862

训练所用数据集：

• 训练和测试使用了SANAD数据集，该数据集包含7个不同主题，如政治、金融、医疗、文化、体育、科技和宗教。

使用方法

该模型可通过transformers库用于文本分类。以下是一个示例：

from transformers import pipeline

# 从huggingface.co/models加载我们的模型仓库ID
classifier = pipeline(
    task="text-classification",
    model="Omartificial-Intelligence-Space/AraModernBert-Topic-Classifier",
)

sample = '''
在此处输入需要分类主题的文本
'''
classifier(sample)

# [{'label': 'health', 'score': 0.6779336333274841}]

测试阶段结果：

• 模型在包含14,181个不同主题样本的测试集上进行了评估，这些主题的分布如下：

• 模型在该测试集上的预测准确率如下：

引用

@misc{modernbert,
      title={更智能、更优、更快、更长：面向快速、内存高效及长上下文微调与推理的现代双向编码器}, 
      author={Benjamin Warner and Antoine Chaffin and Benjamin Clavié and Orion Weller and Oskar Hallström and Said Taghadouini and Alexis Gallagher and Raja Biswas and Faisal Ladhak and Tom Aarsen and Nathan Cooper and Griffin Adams and Jeremy Howard and Iacopo Poli},
      year={2024},
      eprint={2412.13663},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13663}, 
}