库名称: sentence-transformers
流水线标签: 句子相似度
数据集:

• monsoon-nlp/protein-pairs-uniprot-swissprot
  标签:
• sentence-transformers
• 句子相似度
• transformers
• 生物学
• 蛋白质语言模型
  许可证: cc
  基础模型: Rostlab/prot_bert_bfd

蛋白质套娃嵌入模型

该模型可为输入的蛋白质序列生成嵌入向量。通过套娃损失函数训练，支持使用缩短版嵌入向量以加速搜索等任务。

输入需使用IUPAC-IUB编码，字母A-Z对应氨基酸。例如：
"M A R N W S F R V"

基础模型采用Rostlab/prot_bert_bfd。
基于sentence-transformers框架，使用UniProt嵌入向量的余弦相似度进行训练。
训练/测试/验证数据集及距离度量详见：https://huggingface.co/datasets/monsoon-nlp/protein-pairs-uniprot-swissprot

使用方法

安装依赖：

pip install -U sentence-transformers datasets

生成嵌入向量：

from sentence_transformers import SentenceTransformer
sequences = ["M S L E Q K...", "M A R N W S F R V..."]

model = SentenceTransformer('monsoon-nlp/protein-matryoshka-embeddings')
embeddings = model.encode(sequences)
print(embeddings)

训练与代码

CoLab笔记本：https://colab.research.google.com/drive/1uBk-jHOAPhIiUPPunfK7bMC8GnzpwmBy?usp=sharing

验证集1000个蛋白质对的训练结果：

验证

测试集上完整嵌入与128维嵌入的对比散点图：
https://colab.research.google.com/drive/1hm4IIMXaLt_7QYRNvkiXl5BqmsHdC1Ue?usp=sharing

微调与应用

常用评估基准为蛋白质嵌入评估任务(TAPE)

示例1：使用SciKit-Learn训练TAPE中的荧光回归任务
https://colab.research.google.com/drive/1cH9jOBSC56mqJHU_6ztQPp6qWJguNjAn?usp=sharing

示例2：训练greenbeing-binary分类任务
https://colab.research.google.com/drive/1MCTn8f3oeIKpB6n_8mPumet3ukm7GD8a?usp=sharing

后续计划

本页面将更新蛋白质分类任务的应用案例。

正在探索嵌入量化技术以提升效率。

如有合作意向或具备更多嵌入训练资源，欢迎联系。