🚀 GoBERT：用于通用基因功能预测的基因本体图信息BERT模型

GoBERT是一款专门用于通用基因功能预测的模型，它借助基因本体图信息，能够有效捕捉基因本体（GO）功能之间的关系，为与基因或基因产物相关的各类生物学应用生成GO功能嵌入。

🚀 快速开始

使用以下代码开始使用该模型：

from transformers import AutoTokenizer, BertForPreTraining
import torch

repo_name = "MM-YY-WW/GoBERT"
tokenizer = AutoTokenizer.from_pretrained(repo_name, use_fast=False, trust_remote_code=True)
model = BertForPreTraining.from_pretrained(repo_name)

# Obtain function-level GoBERT Embedding:
input_sequences = 'GO:0005739 GO:0005783 GO:0005829 GO:0006914 GO:0006915 GO:0006979 GO:0031966 GO:0051560'
tokenized_input = tokenizer(input_sequences)
input_tensor = torch.tensor(tokenized_input['input_ids']).unsqueeze(0)
attention_mask = torch.tensor(tokenized_input['attention_mask']).unsqueeze(0)

model.eval()
with torch.no_grad():
    outputs = model(input_ids=input_tensor, attention_mask=attention_mask, output_hidden_states=True)
    embedding = outputs.hidden_states[-1].squeeze(0).cpu().numpy() 

✨ 主要特性

• 首个能够捕捉GO功能之间关系的编码器。
• 可为与基因或基因产物相关的各种生物学应用生成GO功能嵌入。

📚 详细文档

模型详情

GoBERT：用于通用基因功能预测的基因本体图信息BERT模型。

模型描述

该模型是首个能够捕捉GO功能之间关系的编码器，可为与基因或基因产物相关的各种生物学应用生成GO功能嵌入。关于基因 - GO功能映射数据库，请参考我们之前的工作UniEtnrezDB（https://zenodo.org/records/13335548 上的UniEntrezGOA.zip）。

模型来源

• 仓库地址：https://github.com/MM-YY-WW/GoBERT
• 论文：GoBERT: Gene Ontology Graph Informed BERT for Universal Gene Function Prediction. (AAAI - 25)
• 演示地址：https://gobert.nasy.moe/

📄 许可证

本项目采用MIT许可证。

🔖 引用

如果您使用了该模型，请按照以下格式引用：

@inproceedings{miao2025gobert,
  title={GoBERT: Gene Ontology Graph Informed BERT for Universal Gene Function Prediction},
  author={Miao, Yuwei and Guo, Yuzhi and Ma, Hehuan and Yan, Jingquan and Jiang, Feng and Liao, Rui and Huang, Junzhou},
  booktitle={Proceedings of the AAAI Conference on Artificial Intelligence},
  volume={39},
  number={1},
  pages={622--630},
  year={2025},
  doi={10.1609/aaai.v39i1.32043}
}