语言: 中文 数据集:

• codexglue

微调用于不安全代码检测的CodeBERT模型 💾⛔

基于codebert-base模型，在CodeXGLUE——缺陷检测数据集上微调，用于不安全代码检测下游任务。

CodeBERT详情

我们提出了CodeBERT，一个面向编程语言(PL)和自然语言(NL)的双模态预训练模型。CodeBERT学习通用表示，支持下游NL-PL应用，如自然语言代码搜索、代码文档生成等。我们基于Transformer神经网络架构开发CodeBERT，并通过结合替换令牌检测预训练任务的混合目标函数进行训练，该任务旨在检测从生成器中采样的合理替代项。这使我们能够利用NL-PL对的双模态数据和单模态数据，前者提供模型训练的输入令牌，后者有助于学习更好的生成器。我们通过微调模型参数在两个NL-PL应用上评估CodeBERT。结果表明，CodeBERT在自然语言代码搜索和代码文档生成任务上均达到了最先进的性能。此外，为了研究CodeBERT学习了何种类型的知识，我们构建了一个NL-PL探测数据集，并在预训练模型参数固定的零样本设置下进行评估。结果显示，CodeBERT在NL-PL探测上优于之前的预训练模型。

下游任务（代码分类）详情 - 数据集 📚

给定一段源代码，任务是识别其是否为可能攻击软件系统的不安全代码，例如资源泄漏、释放后使用漏洞和DoS攻击。我们将该任务视为二分类(0/1)，其中1表示不安全代码，0表示安全代码。

使用的数据集来自论文Devign: 通过图神经网络学习全面程序语义实现有效漏洞识别。所有项目合并后按80%/10%/10%划分训练集/开发集/测试集。

数据集统计信息如下表所示：

测试集指标 🧾

模型实战 🚀

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
import numpy as np
tokenizer = AutoTokenizer.from_pretrained('mrm8488/codebert-base-finetuned-detect-insecure-code')
model = AutoModelForSequenceClassification.from_pretrained('mrm8488/codebert-base-finetuned-detect-insecure-code')

inputs = tokenizer("此处输入代码", return_tensors="pt", truncation=True, padding='max_length')
labels = torch.tensor([1]).unsqueeze(0)  # 批量大小为1
outputs = model(**inputs, labels=labels)
loss = outputs.loss
logits = outputs.logits

print(np.argmax(logits.detach().numpy()))

由Manuel Romero/@mrm8488创建 | 领英

西班牙制造，倾注❤️