许可证: MIT
数据集:

• trendmicro-ailab/Primus-FineWeb
• trendmicro-ailab/Primus-Seed
  语言:
• 英文
  基础模型:
• meta-llama/Llama-3.1-8B-Instruct
  任务标签: 文本生成
  库名称: transformers
  标签:
• 网络安全
• 预训练
  额外授权字段:
  所属机构: 文本
  国家: 国家
  使用目的:
  type: 选择
  options:
  • 研究
  • 商业用途
  • label: 其他
    value: 其他
    职位:
    type: 选择
    options:
  • 学生
  • 研究生
  • AI研究员
  • AI开发/工程师
  • 网络安全研究员
  • 记者
  • 其他
    地理位置: ip定位

Primus：开创性网络安全大语言模型训练开源数据集集

摘要：Llama-Primus-Base是基于Llama-3.1-8B-Instruct的基础模型，在Primus-Seed（0.2B）和Primus-FineWeb（2.57B）上持续预训练而成。Primus-Seed是高质量人工标注的网络安全文本数据集，Primus-FineWeb则是从FineWeb（Common Crawl精炼版）筛选的网络安全文本。通过如此大规模的网络安全语料预训练，该模型在多个网络安全基准测试中综合得分提升🔥15.88%，证明了网络安全专项预训练的有效性。

📄 详见论文: [论文链接]

简介

大语言模型（LLMs）近年来展现出卓越的通用性，在金融、法律、生物医学等专业领域应用前景广阔。然而在网络安全领域，我们注意到缺乏专为LLM预训练设计的开源数据集——尽管大量研究表明LLMs的知识主要来自预训练阶段。为此，我们推出覆盖网络安全LLM训练全阶段的数据集：预训练（Primus-Seed_和_Primus-FineWeb）、指令微调（Primus-Instruct）以及蒸馏推理数据（Primus-Reasoning）。基于这些数据集和Llama-3.1-8B-Instruct，我们开发了_Llama-Primus-Base_、Llama-Primus-Merged_和_Llama-Primus-Reasoning。本模型卡介绍的是Llama-Primus-Base。

注意： 不含任何趋势科技客户信息。

网络安全基准测试结果

CTI-Bench（CVSS）采用平均绝对偏差评分（值越低越好），CTI-ATE采用F1分数，其余采用准确率。综合得分是所有基准测试之和（CTI-Bench CVSS取负值）。

参考文献：

• CyberMetric: 基于检索增强的基准数据集...
• CtiBench: 网络威胁情报评估基准
• SecEval: 基础模型网络安全知识综合评估基准

关于_Primus_

_Primus_是趋势科技推出的开创性轻量级尖端开源网络安全语言模型及数据集家族。通过前沿研究计划与先进技术开发，这些资源共享着驱动企业级趋势赛博坦解决方案的创新基础。作为网络安全行业领导者，趋势科技自豪地向社区贡献这些高效优化的强大模型与数据集，同时保持定义我们全球安全标准的卓越性与可靠性。

许可

本模型基于MIT许可证，但须同时遵守Llama 3.1社区许可协议。