许可证: MIT 标签:

• 化学
• 分子
• 药物

GPT2 Zinc 87m

这是一个基于GPT2风格的自回归语言模型，训练数据来自ZINC数据库中约4.8亿个SMILES字符串。

该模型拥有约8700万参数，经过175000次迭代训练，批次大小为3072，验证损失约为0.615。此模型适用于生成类药分子或从SMILES字符串生成嵌入表示。

使用方法

from transformers import GPT2TokenizerFast, GPT2LMHeadModel

tokenizer = GPT2TokenizerFast.from_pretrained("entropy/gpt2_zinc_87m", max_len=256)
model = GPT2LMHeadModel.from_pretrained('entropy/gpt2_zinc_87m')

生成分子：

inputs = torch.tensor([[tokenizer.bos_token_id]])

gen = model.generate(
              inputs,
              do_sample=True, 
              max_length=256, 
              temperature=1.,
              early_stopping=True,
              pad_token_id=tokenizer.pad_token_id,
              num_return_sequences=32
                         )
smiles = tokenizer.batch_decode(gen, skip_special_tokens=True)

计算嵌入表示：

from transformers import DataCollatorWithPadding

collator = DataCollatorWithPadding(tokenizer, padding=True, return_tensors='pt')

inputs = collator(tokenizer(smiles))
outputs = model(**inputs, output_hidden_states=True)
full_embeddings = outputs[-1][-1]
mask = inputs['attention_mask']
embeddings = ((full_embeddings * mask.unsqueeze(-1)).sum(1) / mask.sum(-1).unsqueeze(-1))

警告

本模型训练时在SMILES输入前后添加了bos和eos标记。GPT2TokenizerFast分词器不会自动添加特殊标记，即使设置add_special_tokens=True。Huggingface表示这是预期行为。

可能需要手动添加这些标记：

inputs = collator(tokenizer([tokenizer.bos_token+i+tokenizer.eos_token for i in smiles]))

模型性能

为测试生成性能，在不同温度值下生成了100万种化合物。生成的化合物经过唯一性和结构有效性检查。

• percent_unique表示n_unique_smiles/n_total_smiles
• percent_valid表示n_valid_smiles/n_unique_smiles
• percent_unique_and_valid表示n_valid_smiles/n_total_smiles

基于100万生成化合物计算的属性直方图：