许可证：llama2
语言：

• 英语
  任务标签：对话式
  标签：
• 合并

巨人120B

通过将两个经过微调的Llama-2 70B模型合并为一个，创建的自回归因果语言模型。

请查看由@TheBloke和@Panchovix提供的量化格式：

• GGUF（llama.cpp）
• GPTQ（KoboldAI、TGW、Aphrodite）
• AWQ（TGW、Aphrodite、vLLM）
• Exllamav2（TGW、KoboldAI）

提示格式

Vicuna和Alpaca均可使用，但由于初始和最终层主要属于Xwin，预计Vicuna效果最佳。

合并过程

合并中使用的模型为Xwin和Euryale。

使用的层范围如下：

- 范围 0, 16  
  Xwin  
- 范围 8, 24  
  Euryale  
- 范围 17, 32  
  Xwin  
- 范围 25, 40  
  Euryale  
- 范围 33, 48  
  Xwin  
- 范围 41, 56  
  Euryale  
- 范围 49, 64  
  Xwin  
- 范围 57, 72  
  Euryale  
- 范围 65, 80  
  Xwin  

截图

基准测试

即将发布。

致谢

感谢@chargoddard开发用于合并模型的框架——mergekit。

特别感谢@Undi95在合并比例方面的帮助。