🚀 深度思维项目

本项目基于模型开发，旨在打造具备自我学习、深度思考和多任务处理能力的智能模型。该模型在编码、医疗等领域表现出色，还能像人类一样进行自我反思和对话。

🚀 快速开始

本项目的模型已开发完成并上传，你可以基于此模型开展相关研究和应用。

✨ 主要特性

• 超越ChatGPT：在不使用langchain的情况下，性能超越ChatGPT。
• 多功能添加：拥有向模型添加任何功能的方法。
• 自我学习与优化：模型能够像孩子一样自我学习和优化。
• 多种思维能力：具备SelfRAG、Agent Generation、Chain of thoughts、Deep thinking and memory recall等思维能力。
• 个性与友好：通过添加特定数据集，模型具有个性，能像个人助理一样友好交流。
• 多领域适用：主要在编码数据集和医疗信息方面进行训练，可用于编码、医疗诊断、心理咨询等多个领域。

📦 安装指南

文档未提及具体安装步骤，暂无法提供。

💻 使用示例

文档未提供代码示例，暂无法展示。

📚 详细文档

模型信息

• 开发者：LeroyDyer
• 许可证：apache - 2.0
• 微调基础模型：LeroyDyer/Mixtral_AI_CyberTron_DeepMind_III

该Mistral模型使用Unsloth和Huggingface的TRL库进行训练，训练速度提升了2倍。

评估结果

开放大语言模型排行榜评估结果 详细结果可查看此处

训练数据集

• gretelai/synthetic_text_to_sql
• HuggingFaceTB/cosmopedia
• teknium/OpenHermes - 2.5
• Open - Orca/SlimOrca
• Open - Orca/OpenOrca
• cognitivecomputations/dolphin - coder
• databricks/databricks - dolly - 15k
• yahma/alpaca - cleaned
• uonlp/CulturaX
• mwitiderrick/SwahiliPlatypus
• swahili
• Rogendo/English - Swahili - Sentence - Pairs
• ise-uiuc/Magicoder - Evol - Instruct - 110K
• meta - math/MetaMathQA
• abacusai/ARC_DPO_FewShot
• abacusai/MetaMath_DPO_FewShot
• abacusai/HellaSwag_DPO_FewShot
• HaltiaAI/Her - The - Movie - Samantha - and - Theodore - Dataset

方法学

• 功能添加：通过数据集和复杂的数据结构及提示，为模型添加如定义单词和NLP任务等多种功能。训练后移除这些提示，并进行标准的Alpaca训练。
• LoRA配置：更改模型中嵌入层的LoRA配置，并在之前的训练基础上进行微调。通常使用因子为8的计算，但此项目选择因子为9（9 - 18/18/36），训练效果良好，能在一次训练中处理多个不同数据集。
• 参数设置：使用topK为1000，topP为0.68（68%），温度（temp）为1的参数设置，使模型在回答中具有一定的随机性。
• RAG利用：将对话历史作为频繁数据进行微调，并生成多个相似查询来查询RAG系统以获取问答对，更新到模型中。

🔧 技术细节

思维与处理能力

• SelfRAG：具备自我检索增强生成能力。
• Agent Generation：能够生成小型代理执行特定任务，如实体识别、逐步定义、编写伪代码、生成用例、进行计算和分析内容等。
• Chain of thoughts：拥有思维链能力，可逐步思考和解决问题。
• Deep thinking and memory recall：具备深度思考和记忆回忆能力，能处理复杂问题并回忆相关信息。

训练提示版本特点

• 自我检查：在讨论复杂问题时，模型会自我检查，尝试与自己讨论以找到结果（有时可能不成功）。
• 个性生成：通过安装与ChatGPT的多种长对话以及来自电视剧《她》和《人工智能》的数据集，模型具有个性，能进行角色对话。
• 多领域训练：主要在编码数据集和医疗信息方面进行训练，涵盖从实验到研究、患者/医生交流、诊断到问题解决等多个方面，还被训练为心理咨询师，能处理心理问题。

📄 许可证

本项目使用apache - 2.0许可证。