Pubchemdeberta

🚀 TwinBooster

TwinBooster是基于PubChem生物测定语料库对DeBERTa V3进行微调的模型，结合了大型语言模型、Barlow Twins和梯度提升技术，可用于增强分子属性预测，在数据稀缺的关键属性预测任务中表现出色，有助于加速药物研发中活性分子的早期识别。

🚀 快速开始

暂未提供相关快速开始的内容。

✨ 主要特性

• 多技术融合：将大型语言模型与Barlow Twins和梯度提升相结合，用于分子属性预测。
• 零样本学习：能够对未见的生物测定和分子的属性进行预测，提供了先进的零样本学习任务。
• 优秀性能：在FS - Mol基准测试中表现出色，证明了其在数据稀缺的关键属性预测任务中的应用潜力。

📚 详细文档

项目背景

药物发现和开发的成功依赖于对分子活性和属性的精确预测。虽然计算机模拟的分子属性预测已显示出巨大潜力，但到目前为止，其应用仅限于有大量数据可用的测定。

研究方法

本研究使用了经过微调的大型语言模型，基于文本信息整合生物测定，并结合Barlow Twins（一种使用新型自监督学习方法的孪生神经网络）。该架构同时利用测定信息和分子指纹来提取真实的分子信息。

研究成果

TwinBooster实现了对未见生物测定和分子属性的预测，在FS - Mol基准测试中表现优异。这一突破展示了深度学习在数据通常稀缺的关键属性预测任务中的应用，有望加速药物发现和开发中活性分子的早期识别，有助于简化新型治疗方法的识别过程。

引用信息

• 论文标题：Synergising Large Language Models with Barlow Twins and Gradient Boosting for Enhanced Molecular Property Prediction
• 作者：Maximilian G. Schuh, Davide Boldini, Stephan A. Sieber
• 作者单位：Chair of Organic Chemistry II, TUM School of Natural Sciences, Technical University of Munich
• arXiv链接：Synergising Large Language Models with Barlow Twins and Gradient Boosting for Enhanced Molecular Property Prediction

📄 许可证

暂未提供相关许可证信息。