气候基础模型卡片：distilroberta-base-climate-f

模型描述

本模型是基于FULL-SELECT样本选择策略构建的ClimateBERT语言模型。

注：我们通常推荐优先选择该语言模型（除非有充分理由不采用）。这也是我们唯一会定期更新的语言模型。

以DistilRoBERTa模型为起点，ClimateBERT语言模型通过气候相关研究论文摘要、企业及大众新闻报告等文本语料进行了增量预训练。具体方法论详见我们的语言模型研究论文。

2022年9月2日更新：现已在包含200万+段落的更大规模文本语料上进行增量预训练。如需获取更新前的模型版本（例如用于复现研究），请使用历史提交如6be4fbd。

气候性能模型卡片

引用信息

@inproceedings{wkbl2022climatebert,
    title={{ClimateBERT: 面向气候文本的预训练语言模型}},
    author={韦伯辛克, 尼古拉斯 and 克劳斯, 马蒂亚斯 and 宾格勒, 茱莉亚 and 莱波尔德, 马库斯},
    booktitle={AAAI 2022秋季研讨会论文集：人工智能应对气候挑战中的角色},
    year={2022},
    doi={https://doi.org/10.48550/arXiv.2212.13631},
}