license: apache-2.0 datasets:

• zd21/SciInstruct language:
• en

SciGLM：通过自反思指令标注与调优训练科学大语言模型

📃 [SciGLM论文] [GitHub仓库]

SciGLM 是一套能够进行大学水平科学推理的科学语言模型。我们方法的核心在于提出了一种新颖的自反思指令标注框架，以解决科学领域数据稀缺的挑战。该框架利用现有大语言模型为未标注科学问题生成逐步推理步骤，随后通过自反思的批判与修订流程进行优化。应用此框架，我们构建了SciInstruct数据集——一个涵盖物理、化学、数学及形式化证明的多样化高质量数据集。

SciInstruct数据集

SciInstruct的构成如下：

我们公开了数据集与模型供公众使用。如需使用SciInstruct或SciGLM，可通过以下链接下载：

下载数据： [谷歌云盘] [清华云盘]

下载模型： [Hugging Face]

训练与推理

微调

可通过Huggingface的Transformers库使用SciGLM模型：

git clone https://github.com/THUDM/SciGLM.git
cd SciGLM
pip install -r requirements.txt

训练6B模型请运行：

bash /path/training/finetune.sh

推理

cd /path/to/inference
python cli_demo.py

引用

若我们的工作对您有所帮助，请引用论文：

@article{zhang2024sciglm,
  title={Sciglm: Training scientific language models with self-reflective instruction annotation and tuning},
  author={Zhang, Dan and Hu, Ziniu and Zhoubian, Sining and Du, Zhengxiao and Yang, Kaiyu and Wang, Zihan and Yue, Yisong and Dong, Yuxiao and Tang, Jie},
  journal={arXiv preprint arXiv:2401.07950},
  year={2024}
}