语言: 波斯语
许可证: Apache-2.0

ALBERT 波斯语版

为波斯语自监督学习语言表征打造的轻量级BERT

你可以叫它“小伯特”

ALBERT-波斯语版是首个针对波斯语的ALBERT模型尝试。该模型基于谷歌ALBERT基础版2.0训练，覆盖科学、小说、新闻等多主题写作风格，数据包含超过390万份文档、7300万句子和13亿词，训练方式与ParsBERT相同。

请关注ALBERT-波斯语版仓库获取最新模型动态。

波斯语文本分类 [DigiMag, 波斯新闻]

任务目标是对现有数据集DigiMag和波斯新闻进行监督式文本标注。

波斯新闻

该数据集爬取自多家在线新闻机构网站，包含16,438篇涵盖8个类别的新闻文章：

1. 经济
2. 国际
3. 政治
4. 科技
5. 文化艺术
6. 体育
7. 医疗

下载
数据集可从此处获取

结果

下表对比了不同模型的F1分数表现：

引用信息

请按以下格式引用：

@misc{ALBERTPersian,  
  author = {Mehrdad Farahani},  
  title = {ALBERT-波斯语版：波斯语语言表征自监督学习的轻量级BERT},  
  year = {2020},  
  publisher = {GitHub},  
  journal = {GitHub仓库},  
  howpublished = {\url{https://github.com/m3hrdadfi/albert-persian}},  
}  

@article{ParsBERT,  
    title={ParsBERT：基于Transformer的波斯语理解模型},  
    author={Mehrdad Farahani, Mohammad Gharachorloo, Marzieh Farahani, Mohammad Manthouri},  
    journal={ArXiv},  
    year={2020},  
    volume={abs/2005.12515}  
}  

问题反馈？

请在ALBERT-波斯语版仓库提交GitHub issue。