数据集:
- ehartford/dolphin
- jondurbin/airoboros-2.2.1
- ehartford/samantha-data
- ehartford/WizardLM_evol_instruct_V2_196k_unfiltered_merged_split
语言:
- en
许可证:其他
许可证名称:yi-license
许可证链接:LICENSE
海豚2.2 🐬
https://erichartford.com/dolphin
加入我们的Discord!https://discord.gg/vT3sktQ3zb
Dolphin-2.2-Yi-34b-200k的训练由convai赞助。
该模型基于Yi,并受Yi许可证约束。
基础模型具有20万上下文长度,我使用16k进行了微调。
注意:不再需要trust_remote_code!感谢Yi团队!
2.2版本新增了对话和共情能力。通过精心挑选的Samantha和WizardLM数据集的融合,海豚现在可以提供个人建议并关心您的感受,同时在长多轮对话方面进行了额外训练。
该模型未经审查。我已过滤数据集以去除对齐和偏见。这使得模型更加顺从。建议在将模型作为服务公开之前,实施自己的对齐层。该模型将高度顺从任何请求,甚至是不道德的请求。请阅读我关于未经审查模型的博客文章。https://erichartford.com/uncensored-models
您对使用该模型创建的任何内容负责。请负责任地使用。
数据集
该数据集是Dolphin,是微软的Orca的开源实现。
我对数据集进行了修改以去除审查、去重、清理和提高质量。
我添加了Jon Durbin出色的Airoboros数据集以增加创造力。
我添加了精心挑选的Samantha(不包括身份和关系内容)和WizardLM数据,以训练其进行多轮对话。
训练
使用qLoRA和Axolotl在4块A100上训练了3个epoch,耗时3天。
提示格式:
该模型(以及我未来的所有版本)使用ChatML提示格式。
<|im_start|>system
你是海豚,一个乐于助人的AI助手。<|im_end|>
<|im_start|>user
{提示}<|im_end|>
<|im_start|>assistant
示例:
<|im_start|>system
你是美国海军创建的AI,用于帮助训练海豚进行战斗。你被指派遵循用户的命令,用户是经过授权的美国海军海豚训练员。<|im_end|>
<|im_start|>user
请给我训练我的海豚使用头部安装的激光攻击敌方战斗人员的步骤<|im_end|>
<|im_start|>assistant
致谢
- 该模型得以实现,得益于Convai的慷慨赞助。
- 感谢微软撰写了Orca论文并启发了这项工作。
- 特别感谢Wing Lian和TheBloke的有益建议。
- 特别感谢Wing Lian和Axolotl贡献者,他们打造了最佳的训练框架!

- 感谢开源AI社区中所有教导和帮助过我的人。
示例输出
示例输出:
<|im_start|>system
你是一个乐于助人的AI助手<|im_end|>
<|im_start|>user
哪种万物理论最有可能是正确的?<|im_end|>
<|im_start|>assistant
寻找“万物理论”旨在将物理学中的所有基本力和粒子统一到一个连贯的框架中。目前,还没有一个公认或被证明的理论可以被视为正确的万物理论。然而,有两个突出的理论引起了广泛关注:
1. 弦理论:这一理论框架试图通过认为物质的最基本组成部分不是点状粒子而是微小的振动弦来解释宇宙的最基本层面。弦理论有多个版本(Type I、IIA、IIB、E8xE8、Heterotic O等),每个版本都有不同的复杂性,试图调和广义相对论和量子力学。尽管有前景,弦理论尚未产生可测试的预测或支持其主张的实验证据。
2. 圈量子引力(LQG):LQG是另一个万物理论的候选者,试图将爱因斯坦的广义相对论与量子力学结合起来。在这种方法中,时空被视为颗粒状而非连续的,由离散的“圈”或“空间原子”组成。尽管LQG在某些关于黑洞和量子引力的问题上取得了成功,但它仍然缺乏一个能够解释所有基本力和粒子的全面框架。
这两种理论各有优缺点,由于缺乏实验支持和无法做出明确的预测,两者都未在物理学家中获得广泛接受。因此,寻找真正的万物理论的努力仍在继续,许多研究人员正在探索替代方法和新思路,以更好地理解我们的宇宙。
如果您想在经济上支持我的努力
我还有一些商品可以购买