🚀 BioMistral-MedMNX

这是一个使用mergekit创建的预训练语言模型融合项目。该项目将不同的预训练模型进行融合，以获得更强大的性能，可应用于生物医学等相关领域的自然语言处理任务。

🚀 快速开始

本项目使用transformers库，你可以按照以下步骤使用融合后的模型。

✨ 主要特性

• 模型融合：使用特定的融合方法将多个预训练模型融合在一起。
• 特定方法：采用DARE TIES融合方法。

📚 详细文档

🔍 融合详情

融合方法

本模型以johnsnowlabs/JSL-MedMNX-7B为基础，使用DARE TIES融合方法进行融合。

参与融合的模型

以下模型参与了融合：

• BioMistral/BioMistral-7B-DARE

配置信息

以下是用于生成此模型的YAML配置：

models:
  - model: johnsnowlabs/JSL-MedMNX-7B
    parameters:
      density: 0.53
      weight: 0.4
  - model: BioMistral/BioMistral-7B-DARE
    parameters:
      density: 0.53
      weight: 0.3

merge_method: dare_ties
tokenizer_source: union
base_model: johnsnowlabs/JSL-MedMNX-7B
parameters:
  int8_mask: true
dtype: bfloat16

📄 许可证

本项目采用CC BY-NC-ND 4.0许可证。