语言:

• 英文 指标:
• 困惑度 任务标签: 句子相似度 作者: 马克西米利安·G·舒赫 标签:
• PubChem
• 化学
• 生物学
• DeBERTa-v3

TwinBooster

PubChemDeBERTa：基于PubChem生物测定语料库微调的DeBERTa V3基础模型

通过Barlow Twins与梯度提升协同大语言模型增强分子属性预测

马克西米利安·G·舒赫、达维德·博尔迪尼、斯蒂芬·A·西贝尔

@ 有机化学II讲席
慕尼黑工业大学自然科学学院

摘要

药物研发的成功取决于对分子活性和属性的精准预测。尽管计算机辅助分子属性预测已展现出显著潜力，但其应用目前仍局限于数据量充足的检测项目。本研究采用经微调的大语言模型，基于文本信息整合生物测定数据，并结合Barlow Twins——一种采用新型自监督学习方法的孪生神经网络。该架构通过检测信息与分子指纹共同提取真实的分子信息。TwinBooster通过提供最先进的零样本学习任务，实现了对未知生物测定和分子属性的预测。值得注意的是，我们的人工智能流程在FS-Mol基准测试中表现出卓越性能。这一突破展示了深度学习在数据通常稀缺的关键属性预测任务中的应用。通过加速药物研发早期活性分子的识别，该方法有望助力简化新疗法的发现流程。