🚀 模型融合项目

本项目是使用 mergekit 对预训练语言模型进行融合的成果。融合后的模型需要进行微调。

🚀 快速开始

本项目利用 mergekit 工具对多个预训练语言模型进行融合操作，以创建一个新的模型。新模型需要进行进一步的微调才能达到更好的效果。

✨ 主要特性

• 多模型融合：将多个不同功能的预训练模型融合在一起，可能综合多种能力。
• 支持多语言：支持中文、英文、法文、西班牙文、葡萄牙文、德文、意大利文、俄文、日文、韩文、越南文、泰文、阿拉伯文等多种语言。

📚 详细文档

融合详情

融合方法

本模型采用 Model Stock 融合方法，以 Qwen/Qwen2.5-7B 为基础模型进行融合。

参与融合的模型

以下模型参与了融合：

• Qwen/Qwen2.5-Coder-7B-Instruct
• Qwen/Qwen2.5-7B-Instruct
• Qwen/Qwen2.5-Math-7B-Instruct

配置信息

以下是用于生成此模型的 YAML 配置：

models:
  - model: Qwen/Qwen2.5-7B
    
  - model: Qwen/Qwen2.5-7B-Instruct
    
  - model: Qwen/Qwen2.5-Coder-7B-Instruct
    
  - model: Qwen/Qwen2.5-Math-7B-Instruct
    
merge_method: model_stock
base_model: Qwen/Qwen2.5-7B
dtype: bfloat16