license: apache-2.0
tags:

• OpenAccess AI Collective
• MPT
• axolotl
  datasets:
• ehartford/WizardLM_alpaca_evol_instruct_70k_unfiltered
• QingyiSi/Alpaca-CoT
• teknium/GPTeacher-General-Instruct
• metaeval/ScienceQA_text_only
• hellaswag
• openai/summarize_from_feedback
• riddle_sense
• gsm8k
• camel-ai/math
• camel-ai/biology
• camel-ai/physics
• camel-ai/chemistry
• winglian/evals

inference: false

💵 赞助OpenAccess AI Collective，助力我们持续打造卓越工具与模型！

由于程序漏洞，Minotaur 13B初始版本在训练时遗漏了部分数据集。我们已修复该问题并重新训练模型

受影响的数据集包括：

• 散文生成
• 分类任务
• 代码相关

Minotaur 13B（修复版）

Minotaur 13B是基于LlaMA-13B进行指令微调的模型。该模型仅使用完全开源数据集进行微调，确保任何人都能复现这一成果。

如有疑问、建议、反馈、捐赠意向或合作意愿？欢迎通过Discord或邮件wing@openaccessaicollective.org联系我们。

提示格式

使用USER:和ASSISTANT:进行纯聊天式对话。

训练数据集

Minotaur 13B模型使用以下公开数据集进行微调：

• WizardLM
• QingyiSi/Alpaca-CoT子集（角色扮演与思维链）
• GPTeacher-General-Instruct
• metaeval/ScienceQA_text_only - 简明回答指令
• openai/summarize_from_feedback - 增强版摘要指令
• camel-ai/math
• camel-ai/physics
• camel-ai/chemistry
• camel-ai/biology
• winglian/evals - 增强指令数据集
  • 涵盖认知误区、上下文问答、幽默推理、多任务问题等定制合成数据集
  • ARC-Easy & ARC-Challenge - 来自训练集的详细回答增强指令
  • hellaswag - 30,000+条带详细解释的训练集增强指令
  • riddle_sense - 来自训练集的增强指令
  • gsm8k - 来自训练集的增强指令
  • 散文生成

特别鸣谢

感谢Nanobit对Axolotl的技术支持，以及TheBloke的模型量化工作让更多人能使用这些模型。

演示

可在社区聊天机器人竞技场的OAAIC聊天机器人标签页体验HF空间演示。

版本说明

• https://wandb.ai/wing-lian/minotaur-13b/runs/5ystr7w6/workspace

构建信息

Minotaur使用Axolotl在6块80GB显存的A100显卡上训练完成

• 1个训练周期耗时约7.5小时

偏见、风险与限制

Minotaur未经过RLHF等人类偏好对齐技术处理，也未像ChatGPT那样部署响应过滤机制，因此在特定提示下可能产生问题输出。该模型基于LLaMA-13B微调，其局限性请参考基座模型的卡片说明（下文附）。

基准测试

hf-causal-experimental (预训练模型=openaccess-ai-collective/minotaur-13b-fixed), 限制: 无, 提供描述: 否, 少样本数: 0, 批次大小: 无

示例 - 结果可能因温度值（本例为0.7）等参数而有所变化

以下是用户与友好AI助手之间的对话：  
用户：解方程：5x = 3x + 10  
助手：要解这个方程，我们需要将x单独留在等式一侧。步骤如下：  

1. 等式两边同时减去3x：  
5x - 3x = 3x + 10 - 3x  
2x = 10  

2. 等式两边同时除以2：  
2x/2 = 10/2  
x = 5  

用户：你有3个苹果，吃掉2个梨。还剩多少苹果？  
助手：你仍然有3个苹果。吃梨不会影响苹果的数量。  

用户：列出三个以"ex"开头的单词。33加77等于多少？  
助手：三个"ex"开头的单词："express"、"exact"、"excite"。33 + 77 = 110。  

用户：写一首关于恐龙的俳句。  
助手：巨兽踏地行，  
雷鸣足音响四方，  
虽逝忆长存。  

（注：音节为6/7/7，非标准5/7/5格式）

以下是好奇用户与AI助手的对话。助手始终提供专业、详尽且礼貌的回答。  
用户：以J·K·罗琳的风格创作原创短篇故事，讲述韦斯莱家族携哈利·波特与赫敏·格兰杰赴澳大利亚度假的经历。  
助手：从前有个叫韦斯莱的魔法家族，他们住在霍格莫德村郊的温馨小屋里，经营着名为"会飞的福特安格里亚"的民宿。像所有魔法家庭一样，他们热爱亲近自然的冒险，于是决定前往澳大利亚旅行，并邀请好友哈利·波特与赫敏·格兰杰同行。  

（中略...最终他们在悉尼酒店阳台告别，这段旅程成为永恒回忆）