许可证: mit

数据集:

• damlab/uniprot 评估指标:
• 准确率

演示样例:

• 文本: '参与 GO:0006468 参与 GO:0007165 位于 GO:0042470 参与 GO:0070372' 示例标题: '功能'

GO语言模型

目录

• 概述
• 模型描述
• 预期用途与限制
• 使用方法
• 训练数据
• 训练过程
  • 预处理
  • 训练
• 评估结果
• BibTeX条目与引用信息

概述

本模型旨在将蛋白质的基因本体定义编码为向量表示。其训练数据来源于模式生物的基因本体术语集合。每个功能按其ID编号排序，并与注释描述（如is_a、enables、located_in等）相结合。模型采用分词处理，使每个描述和GO术语成为独立标记。该模型设计用于PROT-BERT与GO-Language之间的翻译模型，此类翻译模型将有助于预测新基因的功能。

模型描述

本模型使用damlab/uniprot数据集在go字段上训练，采用256个标记的块和15%的掩码率。

预期用途与限制

本模型是基因本体功能的有效封装，可用于探索基因层面的相似性以及功能术语间的比较。

使用方法

作为BERT风格的掩码语言学习模型，它可用于确定掩码位置最可能的标记。

from transformers import pipeline

unmasker = pipeline("fill-mask", model="damlab/GO-language")

unmasker("参与 [MASK] 参与 GO:0007165 位于 GO:0042470 参与 GO:0070372")

[{'score': 0.1040298342704773,
  'token': 103,
  'token_str': 'GO:0002250',
  'sequence': '参与 GO:0002250 参与 GO:0007165 位于 GO:0042470 参与 GO:0070372'},
 {'score': 0.018045395612716675,
  'token': 21,
  'token_str': 'GO:0005576',
  'sequence': '参与 GO:0005576 参与 GO:0007165 位于 GO:0042470 参与 GO:0070372'},
 {'score': 0.015035462565720081,
  'token': 50,
  'token_str': 'GO:0000139',
  'sequence': '参与 GO:0000139 参与 GO:0007165 位于 GO:0042470 参与 GO:0070372'},
 {'score': 0.01181247178465128,
  'token': 37,
  'token_str': 'GO:0007165',
  'sequence': '参与 GO:0007165 参与 GO:0007165 位于 GO:0042470 参与 GO:0070372'},
 {'score': 0.01000668853521347,
  'token': 14,
  'token_str': 'GO:0005737',
  'sequence': '参与 GO:0005737 参与 GO:0007165 位于 GO:0042470 参与 GO:0070372'}
]

训练数据

训练数据集采用damlab/uniprot，从随机初始模型开始训练。基因本体功能按ID编号排序，并与注释术语结合。

训练过程

预处理

所有字符串被连接并分块为256个标记的块用于训练。随机保留20%的块用于验证。

训练

训练使用HuggingFace训练模块，采用MaskedLM数据加载器，掩码率为15%。学习率设置为E-5，50K预热步骤，采用余弦带重启学习率调度，持续训练直至连续3个周期在保留数据集上的损失不再改善。

BibTeX条目与引用信息

[需要更多信息]