language: zh tags:

• 科学
• 多学科 license: apache-2.0

ScholarBERT_100模型

此为ScholarBERT模型家族的ScholarBERT_100变体。

该模型基于大规模科研论文集合（2210亿词元）进行预训练。

此为区分大小写模型，默认情况下分词器不会将输入文本转为小写。

模型架构与BERT-large相同，总参数量达3.4亿。

模型架构

训练数据集

词汇表与模型基于完整PRD科学文献数据集进行预训练。

PRD数据集由加州非营利组织Public.Resource.Org提供，该数据集从期刊论文文件中构建而成，我们成功从178,928种期刊的75,496,055篇文章中提取文本。文献涵盖艺术人文、生命科学与生物医学、物理科学、社会科学及技术领域，具体分布如下图所示。

BibTeX引用信息

若使用本模型，请引用以下论文：

@misc{hong2023diminishing,
      title={The Diminishing Returns of Masked Language Models to Science}, 
      author={Zhi Hong and Aswathy Ajith and Gregory Pauloski and Eamon Duede and Kyle Chard and Ian Foster},
      year={2023},
      eprint={2205.11342},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}