基础模型: mistralai/Mistral-7B-v0.1
标签:

• mistral-7b
• instruct
• 微调
• gpt4
• 合成数据
• 蒸馏
• sharegpt
  数据集:
• CollectiveCognition/chats-data-2023-09-27
  模型索引:
• 名称: CollectiveCognition-v1-Mistral-7B
  结果: []
  许可证: apache-2.0
  语言:
• 英语

集体认知 v1.1 - Mistral 7B

模型描述:

集体认知 v1.1 是采用 Mistral 方法微调的最先进模型。该模型在 TruthfulQA 基准测试中表现尤为突出，超越了许多 70B 规模的模型。该基准测试评估模型对常见误解的理解能力，可能暗示幻觉发生率。

特色亮点:

• 快速训练: 该模型仅需 3 分钟在单张 4090 显卡上通过 qlora 完成训练，却在 TruthfulQA 测试中媲美 70B 规模的 Llama-2 模型。
• 极小数据量: 尽管表现卓越，其训练数据仅包含 100 条样本，所有数据均采集自类似 ShareGPT 的平台。
• 极致 TruthfulQA 表现: 在小数据集和 qlora 训练条件下，该模型仍能与顶尖 70B 模型在 TruthfulQA 基准上一较高下！

致谢:

特别感谢 @a16z 及集体认知数据集的所有贡献者，正是他们使本模型的开发成为可能。

数据集:

模型训练采用集体认知网站提供的数据。该数据集的高效性通过模型的卓越表现得到验证，暗示进一步扩展数据集可能带来更显著的成果。数据特征类似于从 ShareGPT 等平台采集的对话记录。

您可以通过分享 ChatGPT 对话记录为数据集建设贡献力量。

集体 Cognition 创建的数据集下载地址: https://huggingface.co/CollectiveCognition

性能表现:

• TruthfulQA: 在 TruthfulQA 基准测试中，集体认知 v1.1 显著超越多款 70B 规模模型，彰显其识别和纠正常见误解的卓越能力。

使用方式:

提示格式:

用户: <提示>  
助手:  

或

<系统消息>  
用户: <提示>  
助手:  

基准测试:

集体认知 v1.0 TruthfulQA:

|    任务    |版本|指标|  值  |   |标准误|  
|------------|---:|---:|---:|---:|---:|  
|truthfulqa_mc|  1|mc1 |0.4051|± |0.0172|  
|            |   |mc2 |0.5738|± |0.0157|  

集体认知 v1.1 GPT4All:

|    任务    |版本|  指标  |  值  |   |标准误|  
|------------|---:|---:|---:|---:|---:|  
|arc_challenge|  0|acc |0.5085|± |0.0146|  
|            |   |acc_norm|0.5384|± |0.0146|  
|arc_easy    |  0|acc |0.7963|± |0.0083|  
|            |   |acc_norm|0.7668|± |0.0087|  
|boolq       |  1|acc |0.8495|± |0.0063|  
|hellaswag   |  0|acc |0.6399|± |0.0048|  
|            |   |acc_norm|0.8247|± |0.0038|  
|openbookqa  |  0|acc |0.3240|± |0.0210|  
|            |   |acc_norm|0.4540|± |0.0223|  
|piqa        |  0|acc |0.7992|± |0.0093|  
|            |   |acc_norm|0.8107|± |0.0091|  
|winogrande  |  0|acc |0.7348|± |0.0124|  
平均得分: 71.13  

AGIEval:

|            任务            |版本|  指标  |  值  |   |标准误|  
|---------------------------|---:|---:|---:|---:|---:|  
|agieval_aqua_rat           |  0|acc |0.1929|± |0.0248|  
|                           |   |acc_norm|0.2008|± |0.0252|  
|agieval_logiqa_en          |  0|acc |0.3134|± |0.0182|  
|                           |   |acc_norm|0.3333|± |0.0185|  
|agieval_lsat_ar            |  0|acc |0.2217|± |0.0275|  
|                           |   |acc_norm|0.2043|± |0.0266|  
|agieval_lsat_lr            |  0|acc |0.3412|± |0.0210|  
|                           |   |acc_norm|0.3216|± |0.0207|  
|agieval_lsat_rc            |  0|acc |0.4721|± |0.0305|  
|                           |   |acc_norm|0.4201|± |0.0301|  
|agieval_sat_en             |  0|acc |0.6068|± |0.0341|  
|                           |   |acc_norm|0.5777|± |0.0345|  
|agieval_sat_en_without_passage|0|acc |0.3932|± |0.0341|  
|                           |   |acc_norm|0.3641|± |0.0336|  
|agieval_sat_math           |  0|acc |0.2864|± |0.0305|  
|                           |   |acc_norm|0.2636|± |0.0298|  
平均得分: 33.57  

训练过程详见 wandb: https://wandb.ai/teknium1/collectivecognition-mistral-7b/runs/collectivecognition-mistral-8/workspace

许可协议:

Apache 2.0