许可证：apache-2.0
语言：

• 英文
• 中文

基础模型：

• Qwen/Qwen2.5-14B
• Qwen/Qwen2.5-14B-Instruct
• Qwen/Qwen2.5-14B-Instruct-1M
• tanliboy/lambda-qwen2.5-14b-dpo-test
• arcee-ai/SuperNova-Medius
• arcee-ai/Virtuoso-Small-v2
• Azure99/Blossom-V6-14B
• Qwen/Qwen2.5-Coder-14B
• Qwen/Qwen2.5-Coder-14B-Instruct
• deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
• qihoo360/Light-R1-14B-DS

任务标签：文本生成
标签：

• 合并

Qwen2.5-14B-YOYO-V5

Qwen2.5-YOYO第五代模型正式发布！

升级亮点：

1. 整合Light-R1-14B-DS
2. 优化模型合并公式

第一阶段：

模型:  
  - 模型: tanliboy/lambda-qwen2.5-14b-dpo-test  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
合并方法: della  
基础模型: Qwen/Qwen2.5-14B-Instruct  
参数:  
  密度: 1  
  权重: 1  
  lambda: 0.9  
  标准化: 是  
  int8掩码: 是  
数据类型: float16  
分词器来源: 基础  
名称: Qwen2.5-14B-dpo-it  

第二阶段：

步骤1：

创建三个不同的指令模型和一个代码模型

模型:  
  - 模型: mergekit-community/Qwen2.5-14B-dpo-it  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
  - 模型: Qwen/Qwen2.5-14B-Instruct-1M  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
合并方法: della  
基础模型: arcee-ai/Virtuoso-Small-v2  
参数:  
  密度: 1  
  权重: 1  
  lambda: 0.9  
  标准化: 是  
  int8掩码: 是  
数据类型: float16  
分词器来源: 基础  
名称: Qwen2.5-14B-della-v2-dpo  

模型:  
  - 模型: mergekit-community/Qwen2.5-14B-dpo-it  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
  - 模型: Qwen/Qwen2.5-14B-Instruct-1M  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
合并方法: della  
基础模型: Azure99/Blossom-V6-14B  
参数:  
  密度: 1  
  权重: 1  
  lambda: 0.9  
  标准化: 是  
  int8掩码: 是  
数据类型: float16  
分词器来源: 基础  
名称: Qwen2.5-14B-della-V6-dpo  

模型:  
  - 模型: mergekit-community/Qwen2.5-14B-dpo-it  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
  - 模型: Qwen/Qwen2.5-14B-Instruct-1M  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
合并方法: della  
基础模型: arcee-ai/SuperNova-Medius  
参数:  
  密度: 1  
  权重: 1  
  lambda: 0.9  
  标准化: 是  
  int8掩码: 是  
数据类型: float16  
分词器来源: 基础  
名称: Qwen2.5-14B-della-Nova-dpo  

模型:  
  - 模型: Qwen/Qwen2.5-Coder-14B-Instruct  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
合并方法: della  
基础模型: Qwen/Qwen2.5-Coder-14B  
参数:  
  密度: 1  
  权重: 1  
  lambda: 0.9  
  标准化: 是  
  int8掩码: 是  
数据类型: float16  
分词器来源: 基础  
名称: Qwen2.5-14B-della-code  

步骤2：

创建两个不同的推理模型

合并方法: model_stock  
基础模型: arcee-ai/Virtuoso-Small-v2  
模型:  
  - 模型: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B  
  - 模型: qihoo360/Light-R1-14B-DS  
数据类型: float16  
分词器来源: 基础  
int8掩码: 是  
标准化: 是  
名称: Qwen2.5-14B-YOYO-DS-v2  

合并方法: model_stock  
基础模型: Azure99/Blossom-V6-14B  
模型:  
  - 模型: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B  
  - 模型: qihoo360/Light-R1-14B-DS  
数据类型: float16  
分词器来源: 基础  
int8掩码: 是  
标准化: 是  
名称: Qwen2.5-14B-YOYO-DS-V6  

第三阶段：

创建一个支持100万token上下文的基准模型

合并方法: sce  
模型:  
  # 主模型  
  - 模型: Qwen/Qwen2.5-14B-Instruct-1M  
  # 目标模型  
  - 模型: Qwen/Qwen2.5-14B  
基础模型: Qwen/Qwen2.5-14B-Instruct-1M  
参数:  
  选择topk: 1  
数据类型: float16  
分词器来源: 基础  
标准化: 是  
int8掩码: 是  
名称: Qwen2.5-14B-1M  

模型:  
  - 模型: mergekit-community/Qwen2.5-14B-dpo-it  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
  - 模型: Qwen/Qwen2.5-14B-Instruct-1M  
    参数:  
      密度: 1  
      权重: 1  
      lambda: 0.9  
合并方法: della  
基础模型: mergekit-community/Qwen2.5-14B-1M  
参数:  
  密度: 1  
  权重: 1  
  lambda: 0.9  
  标准化: 是  
  int8掩码: 是  
数据类型: float16  
分词器来源: 基础  
名称: Qwen2.5-14B-della-1M-dpo  

最终阶段：

合并方法: model_stock  
基础模型: mergekit-community/Qwen2.5-14B-della-1M-dpo  
模型:  
  - 模型: mergekit-community/Qwen2.5-14B-della-v2-dpo  
  - 模型: mergekit-community/Qwen2.5-14B-della-V6-dpo  
  - 模型: mergekit-community/Qwen2.5-14B-della-Nova-dpo  
  - 模型: mergekit-community/Qwen2.5-14B-della-1M-dpo  
  - 模型: mergekit-community/Qwen2.5-14B-YOYO-DS-v2  
  - 模型: mergekit-community/Qwen2.5-14B-YOYO-DS-V6  
  - 模型: mergekit-community/Qwen2.5-14B-della-code  
数据类型: float16  
分词器来源: 基础  
int8掩码: 是  
标准化: 是  
名称: Qwen2.5-14B-YOYO-V5