许可证：Apache-2.0 语言：

• 英语 标签：
• 网络安全
• 信息安全
• 计算机科学
• 网络威胁
• 漏洞
• 恶意软件
• 攻击

模型卡片：模型ID

CySecBERT是针对网络安全任务优化的领域适配版BERT模型。该模型基于包含430万条网络安全领域相关数据的网络安全数据集训练而成，数据来源包括推特、博客、学术论文和CVE漏洞库。

模型详情

• 开发团队：Markus Bayer, Philipp Kuehn, Ramin Shanehsaz, Christian Reuter
• 模型类型：BERT基础版
• 支持语言(NLP)：英语
• 微调基础模型：bert-base-uncased

模型来源

• 代码仓库：https://github.com/PEASEC/CySecBERT
• 研究论文：https://dl.acm.org/doi/abs/10.1145/3652594 及 https://arxiv.org/abs/2212.02974

偏差、风险、局限性与使用建议

需要特别说明的是，我们未对数据或模型中的社会偏见进行专项分析。虽然大多数应用场景可能不受显著影响，但在某些特定应用场景中，任何形式的歧视都可能造成严重后果。作为开发者，我们郑重提醒用户在此类场景中谨慎使用本模型。我们秉持开源精神，相信其能产生重大影响，因此将相关思考留给模型使用者，借鉴开源社区既往的诸多讨论成果。

训练详情

训练数据

详见 https://github.com/PEASEC/cybersecurity_dataset

训练流程

我们特别设计了CySecBERT的训练流程以减轻灾难性遗忘问题，具体技术细节请参阅论文。

评估测试

我们进行了多维度网络安全专项评估和通用评估，详细结果参见论文。

引用文献

BibTeX格式：

@article{10.1145/3652594,
author = {Bayer, Markus and Kuehn, Philipp and Shanehsaz, Ramin and Reuter, Christian},
title = {CySecBERT：面向网络安全领域的领域自适应语言模型},
year = {2024},
issue_date = {2024年5月},
publisher = {美国计算机协会},
address = {美国纽约},
volume = {27},
number = {2},
issn = {2471-2566},
url = {https://doi.org/10.1145/3652594},
doi = {10.1145/3652594},
journal = {ACM隐私与安全汇刊},
month = {4月},
articleno = {18},
numpages = {20},
keywords = {语言模型, 网络安全BERT, 网络安全数据集}
}

或

@misc{https://doi.org/10.48550/arxiv.2212.02974,
  doi = {10.48550/ARXIV.2212.02974},
  url = {https://arxiv.org/abs/2212.02974},
  author = {Bayer, Markus and Kuehn, Philipp and Shanehsaz, Ramin and Reuter, Christian},
  keywords = {密码学与安全(cs.CR), 计算与语言(cs.CL), 计算机与信息科学, 计算机与信息科学},
  title = {CySecBERT：面向网络安全领域的领域自适应语言模型},
  publisher = {arXiv},
  year = {2022},
  copyright = {arXiv.org永久非独占许可}
}

模型卡片作者

Markus Bayer

模型卡片联系方式

bayer@peasec.tu-darmstadt.de