许可协议: mit 标签:

• 蛋白质语言模型 数据集:
• Uniref50

DistilProtBert

ProtBert-UniRef100模型的蒸馏版本。 除了交叉熵和余弦师生损失外，DistilProtBert还通过掩码语言建模（MLM）目标进行预训练，且仅适用于大写字母的氨基酸。

详情请参阅我们的论文DistilProtBert: 一种用于区分真实蛋白质与其随机重排对应物的蒸馏蛋白质语言模型。

Git仓库。

模型详情

预期用途与限制

该模型可用于蛋白质特征提取或在下游任务中进行微调。

使用方法

该模型的使用方式与ProtBert相同，并使用ProtBert的分词器。

训练数据

DistilProtBert模型在Uniref50数据集上进行了预训练，该数据集包含约4300万条蛋白质序列（仅使用长度在20至512个氨基酸之间的序列）。

预训练流程

预处理使用了ProtBert的分词器。 每条序列的掩码处理细节遵循原始Bert（如ProtBert所述）。

模型在单个DGX集群上进行了总计3个epoch的预训练。本地批次大小为16，使用的优化器为AdamW，学习率为5e-5，并采用混合精度设置。

评估结果

在下游任务微调后，该模型取得了以下结果：

区分蛋白质与其k-let重排版本：

单重排 (数据集)

双重排 (数据集)

三重排 (数据集)

引用

如果您使用此模型，请引用我们的论文：

@article {
	author = {Geffen, Yaron and Ofran, Yanay and Unger, Ron},
	title = {DistilProtBert: 一种用于区分真实蛋白质与其随机重排对应物的蒸馏蛋白质语言模型},
	year = {2022},
	doi = {10.1093/bioinformatics/btac474},
	URL = {https://doi.org/10.1093/bioinformatics/btac474},
	journal = {Bioinformatics}
}