许可证: mit 语言:

• 中文
• 英语
• 法语
• 西班牙语
• 葡萄牙语
• 德语
• 意大利语
• 俄语
• 日语
• 韩语
• 越南语
• 泰语
• 阿拉伯语 任务标签: 文本生成 数据集:
• DiamondGotCat/Zeta-2-Dataset 新版本: Zeta-LLM/Zeta-3

迈向更远的未来。更好。新成就：Zeta 2。

Zeta 2是Zeta的新版本，旨在从Zeta 1的基础上更进一步，后者证明了"普通消费者也能创建大型语言模型"。

Ollama: DiamondGotCat/Zeta-2

量化模型(GGUF)

• 静态量化
• 加权/imatrix量化

关于Zeta 2

Zeta 2是一个约4.6亿参数的语言模型。

或许称它为SLM(小型语言模型)更为合适。

Zeta 2是在消费级电脑上精心打造的SLM。

提示模板

{{ if .System }}{{ .System }}{{ end }}
{{ if .Prompt }}<用户>{{ .Prompt }}</用户>{{ end }}
<助手>

计算机配置

设备: Mac Mini (M2 Pro芯片, 32GB内存, 2023款)

这是个技术细节：在Apple Silicon芯片的Mac上，你只能选择CPU或MPS(苹果专有API)。

CPU有一定兼容性但速度太慢。

MPS速度稍快但不支持fp16等优化系统。

Zeta 2是使用MPS构建的。

训练参数

• 训练周期: 3
• 预热步数: 100

数据集

所用数据集的详细信息可查看此处

相关链接

GitHub: Zeta项目

Zeta只是一个小小的SLM。 但请别忘记，它内心怀揣着宏大的梦想。