标签:

• 化学

ChemGPT 1.2B

ChemGPT基于GPT-Neo模型，并在论文深度化学模型的神经缩放中首次提出。

模型描述

ChemGPT是一个用于生成式分子建模的transformers模型，该模型在PubChem10M数据集上进行了预训练。

预期用途与限制

使用方法

您可以直接通过🤗/transformers库使用此模型。

限制与偏差

该模型在PubChem分子子集上进行训练。您可以用它来生成分子，但其主要用途是研究预训练和微调对下游数据集的影响。

训练数据

PubChem10M，一个来自PubChem的SMILES字符串数据集，可通过DeepChem获取。

训练流程

预处理

使用SELFIES库1.0.4版本将SMILES字符串转换为SELFIES格式。

预训练

参见LitMatter代码库中的实现。

BibTeX条目与引用信息

@article{frey_soklaski_axelrod_samsi_gomez-bombarelli_coley_gadepally_2022, 
place={Cambridge}, title={Neural Scaling of Deep Chemical Models}, 
DOI={10.26434/chemrxiv-2022-3s512}, journal={ChemRxiv}, publisher={Cambridge Open Engage}, 
author={Frey, Nathan and Soklaski, Ryan and Axelrod, Simon and Samsi, Siddharth and Gomez-Bombarelli, Rafael and Coley, Connor and Gadepally, Vijay}, 
year={2022}} 该内容为预印本，尚未经过同行评审。

Frey, Nathan, Ryan Soklaski, Simon Axelrod, Siddharth Samsi, Rafael Gomez-Bombarelli, Connor Coley, 和 Vijay Gadepally. 
"深度化学模型的神经缩放." ChemRxiv (2022). 印刷版. 该内容为预印本，尚未经过同行评审。