license: bsd-3-clause-clear

Nova：面向汇编代码的生成式语言模型

摘要

二进制代码分析是安全领域关键任务的基础，构建有效的二进制分析技术比以往任何时候都更为重要。尽管大语言模型（LLMs）为源代码任务带来了显著改进，但由于汇编代码的特殊挑战——（1）汇编代码信息密度低；（2）汇编代码中多样化的优化——这些模型无法直接推广到汇编代码。为克服这些挑战，本研究提出了一种分层注意力机制，通过构建注意力摘要更有效地捕捉语义，并设计了对比学习目标来训练LLM学习汇编优化。基于这些技术，本研究开发了Nova，一个面向汇编代码的生成式LLM。Nova在二进制代码反编译任务上表现优于现有技术，Pass@1和Pass@10分别提高了14.84%至21.58%，在最新的二进制代码相似性检测任务中Recall@1提高了6.17%，在汇编代码生成和理解任务上均展现出优异能力。

Nova简介

Nova基于DeepSeek-Coder的检查点，以语言建模为目标进行预训练，使用了来自AnghaBench的反汇编代码以及从The-Stack编译的C/C++程序。

本仓库为Nova的基础模型，参数规模为67亿。
该系列的其他模型包括：

• Nova-1.3b：13亿参数的二进制代码基础模型。
• Nova-1.3b-bcr：针对二进制代码恢复任务进行指令微调的Nova-1.3b模型。
• Nova-6.7b-bcr：针对二进制代码恢复任务进行指令微调的Nova-6.7b模型。

环境配置

conda create -n nova python=3.10
conda activate nova
pip install -r requirements.txt

或使用Docker镜像：

docker pull jiang719/nova
docker run --gpus all -it jiang719/nova

引用

@misc{jiang2024nova,
      title={Nova: 基于分层注意力与对比学习的汇编代码生成式语言模型}, 
      author={姜楠 and 王成晓 and 刘凯文 and 徐相泽 and 谭林 and 张翔宇},
      year={2024},
      eprint={2311.13721},
      archivePrefix={arXiv},
      primaryClass={cs.SE},
      url={https://arxiv.org/abs/2311.13721}, 
}