🚀 Mol-Llama-3.1-8B-Instruct

Mol-Llama-3.1-8B-Instruct 是基于特定基础模型微调的项目，可用于文本生成，在生物、化学和医学领域有应用价值。

[项目页面] [论文] [GitHub]

本仓库包含 Mol-LLaMA 的权重，包括 LoRA 权重和投影器，其基于 meta-llama/Llama-3.1-8B-Instruct。

✨ 主要特性

• 基础模型：基于 meta-llama/Llama-3.1-8B-Instruct。
• 数据集：使用 DongkiKim/Mol-LLaMA-Instruct 数据集进行训练。
• 适用领域：适用于生物学、化学和医学领域。
• 任务类型：可用于文本生成任务。
• 使用库：基于 transformers 库。

🚀 快速开始

请查看 GitHub 仓库中的推理示例代码。

📚 详细文档

架构

1. 分子编码器：预训练的 2D 编码器 (MoleculeSTM) 和 3D 编码器 (Uni-Mol)
2. 融合模块：通过交叉注意力结合 2D 和 3D 编码器的互补信息
3. Q-Former：基于 SciBERT 将分子表示嵌入到查询令牌中
4. LoRA：用于微调大语言模型的适配器

训练数据集

Mol-LLaMA 在 Mol-LLaMA-Instruct 数据集上进行训练，以学习分子的基本特征，并具备推理能力和可解释性。

📄 许可证

本项目采用 apache-2.0 许可证。

📚 引用

如果您觉得我们的模型有用，请考虑引用我们的工作。

@misc{kim2025molllama,
    title={Mol-LLaMA: Towards General Understanding of Molecules in Large Molecular Language Model},
    author={Dongki Kim and Wonbin Lee and Sung Ju Hwang},
    year={2025},
    eprint={2502.13449},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

🙏 致谢

我们感谢 LLaMA、3D-MoLM、MoleculeSTM、Uni-Mol 和 SciBERT 的开源贡献。