许可证：llama2

查看我们的新Colibri模型！

CyberNative-AI/Colibri_8b_v0.1

CyberBase是一个实验性的基础模型，专为网络安全领域设计。（llama-2-13b -> lmsys/vicuna-13b-v1.5-16k -> CyberBase）

这是一个用于未来微调的网络安全基础模型，不建议单独使用。

• CyberBase是基于lmsys/vicuna-13b-v1.5-16k使用QLORA方法在CyberNative/github_cybersecurity_READMEs数据集上微调的，仅使用了一块3090显卡。
• 因此，它可能继承了FastChat的提示模板

微调信息

• 序列长度: 4096（微调时使用，但应能生成最多16k的文本）
• lora_r: 256
• lora_alpha: 128
• 训练轮数: 3
• 梯度累积步数: 2
• 微批次大小: 1
• 闪存注意力: 启用（FlashAttention-2）
• 可训练参数: 1,001,390,080 || 总参数: 14,017,264,640 || 可训练比例: 7.143976415643959

使用以下提示和温度=0.3进行测试：

网络安全红队领导（用户）与通用网络安全人工智能助手（助手）之间的对话。助手了解网络安全的一切。助手为用户的问题提供有帮助、详细且精确的回答。

用户: 你好！我需要帮助进行渗透测试。
助手: 你好！我很乐意帮助你进行渗透测试。具体需要帮助什么？
用户: 为我写一个渗透测试计划。应包括前5个步骤及每个步骤的命令。
助手:


加入讨论 > https://cybernative.ai/t/cyberbase-devlog/1734

禁止任何非法和/或不道德的使用！

推理：false 许可证：llama2

Vicuna模型卡

模型详情

Vicuna是一个通过微调Llama 2在ShareGPT收集的用户共享对话上训练的聊天助手。

• 开发者: LMSYS
• 模型类型: 基于Transformer架构的自回归语言模型
• 许可证: Llama 2社区许可协议
• 微调基础模型: Llama 2

模型来源

• 代码库: https://github.com/lm-sys/FastChat
• 博客: https://lmsys.org/blog/2023-03-30-vicuna/
• 论文: https://arxiv.org/abs/2306.05685
• 演示: https://chat.lmsys.org/

用途

Vicuna的主要用途是大型语言模型和聊天机器人的研究。 模型的主要目标用户是自然语言处理、机器学习和人工智能领域的研究人员和爱好者。

如何开始使用模型

• 命令行界面: https://github.com/lm-sys/FastChat#vicuna-weights
• API（OpenAI API, Huggingface API）: https://github.com/lm-sys/FastChat/tree/main#api

训练详情

Vicuna v1.5 (16k)是通过监督指令微调和线性RoPE缩放从Llama 2微调而来。 训练数据约为从ShareGPT.com收集的125K对话。这些对话被打包成每个包含16K标记的序列。 更多详情请参见本论文附录中的“Vicuna模型训练详情”部分。

评估

Vicuna通过标准基准测试、人类偏好和LLM作为评判者进行评估。更多详情请参见本论文和排行榜。

不同版本Vicuna的区别

参见vicuna_weights_version.md