许可证：其他
许可证名称：yi-license
许可证链接：https://huggingface.co/01-ai/Yi-34B/blob/main/LICENSE
语言：

• 英文
  库名称：transformers
  流水线标签：文本生成
  标签：
• 文本生成推理
• 合并

已废弃，请参见：https://huggingface.co/brucethemoose/CaPlatTessDolXaBoros-Yi-34B-200K-DARE-Ties-HighDensity

NousResearch/Nous-Capybara-34B、migtissera/Tess-M-v1.3 和 bhenrym14/airoboros-3_1-yi-34b-200k 通过 mergekit 的新实验性实现“dare ties”合并。参考：

语言模型是超级马里奥：从同源模型中吸收能力作为免费午餐

https://github.com/yule-BUAA/MergeLM

https://github.com/cg123/mergekit/tree/dare

使用以下配置合并，并使用 chargoddard 的 Yi-Llama 的分词器：

models:  
  - model: /home/alpha/Storage/Models/Raw/chargoddard_Yi-34B-200K-Llama  
    # 基础模型无需参数  
  - model: /home/alpha/Storage/Models/Raw/migtissera_Tess-M-v1.3  
    parameters:  
      weight: 0.41  
      density: 0.50  
  - model: /home/alpha//Storage/Models/Raw/bhenrym14_airoboros-3_1-yi-34b-200k  
    parameters:  
      weight: 0.18  
      density: 0.46  
  - model: /home/alpha/Storage/Models/Raw/Nous-Capybara-34B  
    parameters:  
      weight: 0.41  
      density: 0.50  
merge_method: dare_ties  
base_model: /home/alpha/Storage/Models/Raw/chargoddard_Yi-34B-200K-Llama  
parameters:  
int8_mask: true  
dtype: bfloat16  

dare_ties 测试显示，其困惑度优于相同合并配置的常规 ties 合并。测试表明，权重总和为 1 的模型权重似乎是最优的。高上下文结果似乎...比之前使用 Tess 1.2 的 dare 合并更好。

我选择不包含其他微调模型（如 Dolphin），因为它们不是在 200K 基础上训练的。如果有其他 200K 微调模型出现，请告诉我。

提示模板：Orca-Vicuna

SYSTEM: {system_message}  
USER: {prompt}  
ASSISTANT:  

作为 Yi 模型，如果输出看起来不正确，可以尝试禁用 BOS 标记和/或使用 MinP（不结合其他采样器）降低温度。Yi 模型默认倾向于“过热”。

有时模型会像 Capybara 一样将停止标记拼写为 </s>，因此可能需要将 </s> 添加为额外的停止条件。它也可能响应 llama-2 的聊天格式。

24GB GPU 可以使用 exllamav2 在 45K-75K 上下文 下运行 Yi-34B-200K 模型。我在这篇帖子中详细介绍了这一点，并推荐针对类似任务的 exl2 量化，例如这些针对故事写作的量化：4.0bpw / 3.1bpw

致谢：

https://github.com/cg123/mergekit/tree/dare

https://huggingface.co/NousResearch/Nous-Capybara-34B/

https://huggingface.co/bhenrym14/airoboros-3_1-yi-34b-200k

https://huggingface.co/migtissera/Tess-M-v1.3

https://huggingface.co/chargoddard/Yi-34B-200K-Llama

https://huggingface.co/01-ai/Yi-34B-200K