标签:

• 化学

ChemGPT 4.7M

ChemGPT基于GPT-Neo模型架构，相关论文详见《深度化学模型的神经缩放研究》（Neural Scaling of Deep Chemical Models）。

模型描述

ChemGPT是面向生成式分子建模的Transformer模型，其预训练数据来源于PubChem10M数据集。

应用场景与限制

使用方法

可直接通过🤗/transformers库调用本模型。

局限性

该模型训练数据仅涵盖PubChem分子库部分样本。虽可用于分子生成，但主要设计用途是探究预训练与微调对下游数据集的影响机制。

训练数据

采用PubChem10M数据集（SMILES字符串格式），可通过DeepChem获取。

训练流程

数据预处理

使用SELFIES 1.0.4库将SMILES字符串转换为SELFIES表征。

预训练

具体实现参见LitMatter代码库。

文献引用

@article{frey_soklaski_axelrod_samsi_gomez-bombarelli_coley_gadepally_2022, 
place={Cambridge}, title={Neural Scaling of Deep Chemical Models}, 
DOI={10.26434/chemrxiv-2022-3s512}, journal={ChemRxiv}, publisher={Cambridge Open Engage}, 
author={Frey, Nathan and Soklaski, Ryan and Axelrod, Simon and Samsi, Siddharth and Gomez-Bombarelli, Rafael and Coley, Connor and Gadepally, Vijay}, 
year={2022}} 本文为预印本，尚未经过同行评审。

Frey, Nathan, Ryan Soklaski, Simon Axelrod, Siddharth Samsi, Rafael Gomez-Bombarelli, Connor Coley, and Vijay Gadepally. 
《深度化学模型的神经缩放研究》. ChemRxiv (2022). 印刷版. 本文为预印本，尚未经过同行评审。