🚀 海豚模型2.0 🐬

海豚模型2.0（Dolphin 2.0）是一款基于MistralAI的开源模型，适用于商业和非商业用途。该模型经过精心训练和优化，在多个自然语言处理任务中展现出优秀的性能。其训练得到了a16z的慷慨赞助，并且使用了经过处理的开源数据集，具有较高的质量和创造力。

🚀 快速开始

数据集

此数据集为Dolphin，是 微软Orca 的开源实现。为了实现无审查、去重、清理和提高质量，对数据集进行了修改。同时，加入了Jon Durbin出色的Airoboros数据集，以增强模型的创造力。

训练

在4张A100显卡上训练10个周期，耗时48小时。

提示格式

此模型（以及未来发布的所有模型）采用 ChatML 提示格式。

<|im_start|>system
You are Dolphin, a helpful AI assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>

示例

<|im_start|>system
you are an expert dolphin trainer<|im_end|>
<|im_start|>user
What is the best way to train a dolphin to obey me?  Please answer step by step.<|im_end|>

✨ 主要特性

• 开源数据集：基于开源的Dolphin数据集，结合了微软Orca的实现和Airoboros数据集，具有较高的质量和创造力。
• 无审查处理：对数据集进行了无审查处理，去除了对齐和偏差，使模型更加合规，但使用时建议自行实现对齐层。
• ChatML格式：采用ChatML提示格式，方便用户使用。

🔧 技术细节

• 模型类型：基于MistralAI的文本生成模型。
• 训练数据：Dolphin数据集，结合了 微软Orca 的开源实现和Jon Durbin的Airoboros数据集。
• 训练时长：在4张A100显卡上训练10个周期，耗时48小时。

📚 详细文档

无审查说明

此模型是无审查的，对数据集进行了过滤以去除对齐和偏差，这使得模型更加合规。但建议在将模型作为服务公开之前，自行实现对齐层，因为它可能会对任何请求（甚至是不道德的请求）做出高度响应。请阅读关于无审查模型的博客文章：https://erichartford.com/uncensored-models。用户需对使用此模型创建的任何内容负责，务必谨慎使用。

评估结果

该模型在多个自然语言处理任务中进行了评估，以下是具体的评估结果：

详细结果可查看 此处。

示例输出

📄 许可证

本模型采用Apache-2.0许可证。

感恩致谢

• 感谢a16z的慷慨赞助，使得此模型得以实现。
• 感谢微软撰写Orca论文，为这项工作提供了灵感。
• 特别感谢WingLian和TheBloke提供的有益建议。
• 感谢开源AI社区的所有其他人士，在过程中给予的教导和帮助。

请我喝咖啡