language: fa license: apache-2.0

波斯语ALBERT模型

一种用于波斯语自监督学习语言表征的轻量级BERT模型

你可以称它为"迷你BERT"

ALBERT-Persian是首个针对波斯语的ALBERT模型尝试。该模型基于谷歌ALBERT BASE 2.0版本训练，数据涵盖科学、小说、新闻等多种文体的390万份文档、7300万句子和13亿词汇，训练方式与我们开发ParsBERT时相同。

关于历史及当前模型的最新信息，请关注ALBERT-Persian代码库。

波斯语文本分类 [DigiMag, 波斯新闻]

该任务目标是对现有数据集DigiMag和Persian News中的文本进行监督式分类标注。

DigiMag数据集

共收录从Digikala在线杂志抓取的8,515篇文章，包含七个分类：

1. 电子游戏
2. 购物指南
3. 健康美容
4. 科学技术
5. 综合类
6. 艺术影视
7. 图书文学

下载地址 数据集可从此处获取

性能对比

下表展示了ALBERT模型与其他架构模型的F1分数对比：

引用信息

发表论文时请按以下格式引用：

@misc{ALBERTPersian,
  author = {Mehrdad Farahani},
  title = {ALBERT-波斯语：用于波斯语自监督学习语言表征的轻量级BERT},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub代码库},
  howpublished = {\url{https://github.com/m3hrdadfi/albert-persian}},
}

@article{ParsBERT,
    title={ParsBERT：基于Transformer的波斯语理解模型},
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},
    journal={ArXiv},
    year={2020},
    volume={abs/2005.12515}
}

问题反馈？

请在ALBERT-Persian代码库提交GitHub issue。