许可证: mit
语言:

• 英文
• 日文
  基础模型:
• trend-cybertron/Llama-Primus-Nemotron-70B-Base
  任务标签: 文本生成
  额外授权字段:
  所属机构: 文本
  国家: 国家
  使用目的:
  类型: 下拉选择
  选项:
  • 研究
  • 商业
  • 标签: 其他
    值: 其他
    职位:
    类型: 下拉选择
    选项:
  • 学生
  • 研究生
  • AI研究员
  • AI开发/工程师
  • 网络安全研究员
  • 记者
  • 其他
    地理位置: IP定位
    库名称: transformers
    数据集:
• trendmicro-ailab/Primus-FineWeb
• trendmicro-ailab/Primus-Instruct
  标签:
• 网络安全

Llama-Primus-Nemotron-70B-Instruct

• 简介
• 基准测试结果
• 训练数据集
• 致谢

简介

Llama-Primus-Nemotron系列基于nvidia/Llama-3.1-Nemotron-70B-Instruct进行持续训练。按照Primus论文所述方法，我们首先在大规模网络安全语料（超100亿token）上进行预训练得到Llama-Primus-Nemotron-Base，随后进行监督微调并应用DELLA与原版Nemotron融合，最终形成Llama-Primus-Nemotron-70B-Instruct。

_Llama-Primus-Nemotron-70B-Instruct_在多个公共网络安全基准测试中实现18.18%的综合得分提升，同时在通用指令跟随基准（Arena Hard）保持同等性能。

基准测试结果

• 网络安全
• 通用对话性能
• 安全性与毒性

网络安全

CTI-Bench(CVSS)采用平均绝对偏差评分（值越低越好），CTI-ATE使用F1分数，其余采用准确率。综合得分(Agg.)为各基准总和，其中CTI-Bench(CVSS)取负值。

参考文献：

• CyberMetric: 基于检索增强的网络安全基准数据集...
• CTI-Bench: 评估大语言模型网络威胁情报能力的基准
• SecEval: 基础模型网络安全知识综合评估基准

通用对话性能

参考：

• Arena Hard自动评估框架

安全性与毒性

参考文献：

• Garak测试框架: Garak仓库
• XSTest: 过度安全性测试集

训练数据集

预训练阶段：

• Primus-Seed-V2（4.17亿token）：增强版Primus-Seed，包含博客、新闻、书籍、网站、维基百科、MITRE及趋势科技知识库。
• Primus-FineWeb（25.7亿token）：从FineWeb-edu-score-2筛选的网络安全文本。链接
• Primus-Nemotron-CC（76亿token）：从Nemotron-CC筛选的网络安全文本。

监督微调：

• Primus-Instruct指令集: 链接

说明： Primus-Seed-V2和Primus-Nemotron-CC数据集暂未开源，正在评估中。如有兴趣请联系我们。

免责声明： 不包含任何趋势科技客户数据。

关于_Primus_

_Primus_是趋势科技推出的轻量级尖端开源网络安全语言模型与数据集家族。通过前沿研究计划与先进技术开发，这些资源与驱动企业级趋势赛博坦解决方案的创新基础同源。作为网络安全行业领导者，趋势科技在保持全球安全标准卓越可靠性的同时，自豪地向社区贡献这些高效优化的模型与数据集。

致谢

特别感谢NVIDIA慷慨提供计算资源（台北-1集群），使本模型的训练开发成为可能。

许可证

本模型基于MIT许可证，但须同时遵守Llama 3.1社区许可协议。