license: bsd-3-clause-clear

Nova：面向汇编代码的生成式语言模型

摘要

二进制代码分析是安全领域关键任务的基础，构建有效的二进制分析技术比以往任何时候都更为重要。尽管大语言模型（LLMs）为源代码任务带来了显著改进，但由于汇编代码特有的挑战——（1）汇编代码信息密度低；（2）汇编代码中多样化的优化手段——这些模型无法直接推广到汇编代码领域。为应对这些挑战，本研究提出了一种分层注意力机制，通过构建注意力摘要更有效地捕捉语义，并设计了对比学习目标来训练LLM理解汇编优化。基于这些技术，我们开发了Nova——一个面向汇编代码的生成式大语言模型。Nova在二进制代码反编译任务上以Pass@1和Pass@10指标分别提升14.84%至21.58%的表现超越现有技术，在最新二进制代码相似性检测任务中以Recall@1指标最高提升6.17%，在汇编生成和理解任务中均展现出卓越能力。

Nova简介

Nova以DeepSeek-Coder检查点为起点，采用语言建模目标进行预训练，训练数据包含来自AnghaBench的反汇编代码以及由The-Stack编译的C/C++程序。

本仓库存储的是Nova基础模型（13亿参数）。该系列其他模型包括：

• Nova-1.3b-bcr：针对二进制代码恢复任务进行指令微调的1.3B参数模型
• Nova-6.7b：67亿参数的二进制代码基础模型
• Nova-6.7b-bcr：针对二进制代码恢复任务微调的6.7B参数模型

环境配置

conda create -n nova python=3.10
conda activate nova
pip install -r requirements.txt

或使用Docker镜像：

docker pull jiang719/nova
docker run --gpus all -it jiang719/nova

引用

@misc{jiang2024nova,
      title={Nova：基于分层注意力与对比学习的汇编代码生成式语言模型}, 
      author={姜楠 and 王成晓 and 刘凯文 and 徐向哲 and 谭林 and 张翔宇},
      year={2024},
      eprint={2311.13721},
      archivePrefix={arXiv},
      primaryClass={cs.SE},
      url={https://arxiv.org/abs/2311.13721}, 
}