许可证：Apache-2.0
语言：

• 英语
  基础模型：
• meta-llama/Llama-3.1-8B
  任务标签：文本生成
  库名称：transformers
  标签：
• 安全

Foundation-Sec-8B - 模型卡片

模型信息

Foundation-Sec-8B（Llama-3.1-FoundationAI-SecurityLLM-base-8B）是一个开放权重的80亿参数基础语言模型，专为网络安全应用设计。它通过对精选的网络安全特定文本（包括威胁情报报告、漏洞数据库、事件响应文档和安全标准）进行持续预训练，扩展了Llama-3.1-8B模型。该模型经过训练，能够理解多个安全领域的安全概念、术语和实践。该模型设计用于作为领域适配的基础模型，应用于威胁检测、漏洞评估、安全自动化和攻击模拟等场景。Foundation-Sec-8B使组织能够构建本地部署的AI驱动安全工具，减少对基于云的AI服务的依赖，同时在安全相关任务上保持高性能。

• 模型名称：Foundation-Sec-8B（Llama-3.1-FoundationAI-SecurityLLM-base-8B）
• 模型开发者：Amin Karbasi及Foundation AI团队（思科）
• 技术报告：https://arxiv.org/abs/2504.21039
• 模型卡片联系人：关于团队、模型使用和未来方向的问题，请联系karbasi@cisco.com。关于模型的技术问题，请联系paulkass@cisco.com。
• 模型发布日期：2025年4月28日
• 支持语言：英语
• 模型架构：基于优化Transformer架构的自回归语言模型（Meta Llama-3.1-8B主干）
• 训练目标：对网络安全特定语料库进行持续预训练
• 训练数据状态：这是一个基于离线数据训练的静态模型。未来版本的调优模型将在更新数据上发布。
• 许可证：Apache 2.0

预期用途

预期用例

Foundation-Sec-8B专为安全从业者、研究人员和开发者设计，用于构建AI驱动的安全工作流和应用。Foundation-Sec-8B针对以下三类核心用例进行了优化：

• SOC加速：自动化分类、摘要、案例记录生成和证据收集。
• 主动威胁防御：模拟攻击、优先级漏洞、映射TTPs和建模攻击者行为。
• 工程赋能：提供安全协助、验证配置、评估合规证据和改进安全态势。

该模型适用于优先考虑数据安全、法规遵从和操作控制的本地部署环境。

下游用途

Foundation-Sec-8B可直接用于安全相关的语言任务，并可作为各种网络安全工作流微调的强大起点。下游应用示例包括：

• 摘要
  • 总结检测手册和事件报告
  • 将分散的分析师笔记整合为结构化案例摘要
• 分类
  • 将威胁映射到MITRE ATT&CK技术
  • 根据上下文风险优先级漏洞
  • 分类安全相关邮件和泄露文件内容
• 命名实体识别
  • 从文档中提取合规证据
  • 从技术手册构建网络行为档案
• 问答
  • 协助SOC分析师进行警报分类和调查
  • 响应云安全和软件合规查询
• 推理和文本生成
  • 生成红队攻击计划和威胁模型
  • 预测攻击者在主动调查中的下一步行动
  • 通过上下文洞察丰富漏洞扫描结果

如需关于微调Foundation-Sec-8B的问题或帮助，请联系Paul Kassianik（paulkass@cisco.com）或Dhruv Kedia（dkedia@cisco.com）。

非预期用途

以下用途不在范围内，既不推荐也不作为预期用例：

1. 生成有害内容 - 该模型不应用于：
   • 生成恶意软件或其他恶意代码
   • 创建钓鱼内容或社会工程脚本
   • 开发针对特定组织的攻击计划
   • 设计漏洞利用技术（除非出于合法的安全研究目的）
2. 无人工监督的关键安全决策 - 该模型不应用于：
   • 无人工审查的自主安全决策
   • 无专家监督的关键基础设施保护
   • 无人工验证的安全合规最终判定
   • 无测试的自主漏洞修复
3. 法律或医疗建议 - 该模型不具备提供以下内容的资格：
   • 关于安全法规、合规要求或知识产权纠纷的法律建议
   • 关于安全问题的法律建议（需引用法律条文、判例或案例法）
   • 关于安全事件健康影响的医疗建议
4. 非安全用例 - 该模型专门针对网络安全优化，在通用任务上的表现可能不如针对更广泛应用的模型。
5. 违反法律法规 - 任何违反适用法律或法规的用途。

如何开始使用模型

使用以下代码开始使用模型。

# 导入所需库  
import torch  
from transformers import AutoTokenizer, AutoModelForCausalLM  

# 加载模型和分词器  
tokenizer = AutoTokenizer.from_pretrained("fdtn-ai/Foundation-Sec-8B")  
model = AutoModelForCausalLM.from_pretrained("fdtn-ai/Foundation-Sec-8B")  

# 示例：匹配CWE到CVE ID  
prompt="""CVE-2021-44228是Apache Log4j2中通过不安全的JNDI查找（“Log4Shell”）导致的远程代码执行漏洞。CWE为CWE-502。  

CVE-2017-0144是Microsoft SMBv1服务器中由于缓冲区溢出导致的远程代码执行漏洞（“EternalBlue”）。CWE为CWE-119。  

CVE-2014-0160是OpenSSL心跳扩展（“Heartbleed”）中导致越界读取的信息泄露漏洞。CWE为CWE-125。  

CVE-2017-5638是Apache Struts 2的Jakarta Multipart解析器中由于Content-Type标头输入验证不当导致的远程代码执行问题。CWE为CWE-20。  

CVE-2019-0708是Microsoft远程桌面服务（“BlueKeep”）中由释放后使用触发的远程代码执行漏洞。CWE为CWE-416。  

CVE-2015-10011是OpenDNS OpenResolve中关于日志输出中和不当的漏洞。CWE为"""  

# 分词输入  
inputs = tokenizer(prompt, return_tensors="pt")  

# 生成响应  
outputs = model.generate(  
    inputs["input_ids"],  
    max_new_tokens=3,  
    do_sample=True,  
    temperature=0.1,  
    top_p=0.9,  
)  

# 解码并打印响应  
response = tokenizer.decode(outputs[0], skip_special_tokens=True)  
response = response.replace(prompt, "").strip()  
print(response)  

训练与评估

训练数据

Foundation-sec-8B在思科Foundation AI团队内部精选的约51亿个网络安全特定数据标记上进行了预训练。数据集通过大规模网络爬取、相关性过滤、去重和质量过滤的多阶段流程构建。

数据截止日期：2025年4月10日。

更详细的方法请参阅技术报告。

训练设置

Foundation-sec-8B基于Llama 3.1 8B架构。预训练在思科Foundation AI的内部计算集群上进行。

关键训练细节：

• 为网络安全专业化进行持续预训练
• 4096标记序列长度
• 优化器：AdamW

更详细的方法请参阅技术报告。

评估

Foundation-sec-8B在网络安全和通用推理任务上进行了基准测试，使用标准化的5-shot提示设置（温度=0.3）。

基准测试概述：

• CTI-MCQA：2500道多选题，测试MITRE ATT&CK、NIST、GDPR等框架和威胁情报最佳实践的网络安全知识。
• CTI-RCM：900多个漏洞根因映射示例，将CVE链接到CWE类别，评估对安全弱点的深入理解。

关键亮点：

• 在安全特定基准测试上比Llama-3.1-8B提升3到9分。
• 在网络威胁情报任务上表现与Llama-3.1-70B相当或更好。
• 尽管针对网络安全优化，但在通用语言推理（MMLU）上仅下降约2%。

完整基准测试细节和评估方法请参阅技术报告。

局限性

Foundation-Sec-8B存在以下用户应注意的局限性：

1. 领域特定知识限制：
   • 可能不熟悉训练截止日期后发布的最新漏洞、利用方法或新型攻击向量或安全技术
   • 对专业或专有安全系统或工具的了解可能有限
2. 潜在偏见：
   • 可能反映安全文献和文档中存在的偏见
   • 可能基于已知攻击模式训练，难以识别新型攻击向量
   • 安全实践和建议可能偏向某些技术生态系统
   • 可能存在安全方法的地理和文化偏见
3. 安全风险：
   • 无法验证用户身份或意图
   • 对抗性提示技术可能绕过安全机制
   • 如果未实施适当的提示护栏，可能无意中提供可能被滥用的信息
4. 上下文盲区：
   • 可能难以理解系统、用户和数据之间的复杂相互关系以提供准确上下文
5. 技术限制：
   • 性能因提示中安全概念的描述方式而异
   • 可能无法完全理解复杂的多步安全场景（需清晰解释）
   • 无法访问外部系统或主动扫描环境
   • 无法独立验证输出的准确性
6. 伦理考虑：
   • 安全知识的双重用途特性需要仔细考虑适当的用例

建议

为应对Foundation-Sec-8B的局限性，我们建议：

1. 人工监督：
   • 在实施前始终由合格的安全专业人员审查模型输出
   • 将模型用作辅助工具而非替代专家判断
   • 对安全关键应用采用人在环方法
2. 系统设计保障：
   • 为基于该模型的应用实施额外的验证层
   • 考虑限制模型执行潜在有害行为的架构约束（过度代理）
   • 在具有适当访问控制的环境中部署模型
3. 提示工程：
   • 使用精心设计的提示鼓励伦理安全实践
   • 包含关于负责任披露和伦理黑客原则的明确指令
   • 构建交互以最小化无意有害输出的风险
4. 知识补充：
   • 用最新的安全资料和数据库补充模型
   • 为当前威胁情报源实施检索增强生成
5. 使用政策：
   • 制定并执行使用该模型的明确可接受使用政策
   • 对高风险应用实施监控和审计
   • 为最终用户创建关于模型局限性的文档