许可协议: MIT
标签:

• 训练生成
  基础模型: Josephgflowers/TinyLlama-Cinder-Tiny-Agent
  模型索引:
• 名称: TinyLlama-Cinder-Agent-v1
  结果: []

该模型的目标是构建一个可用于工具调用、RAG（检索增强生成）、接收系统指令及作为通用助手的Tinyllama模型。

此模型是基于Josephgflowers/TinyLlama-Cinder-Tiny-Agent的微调版本。

特别感谢https://nationtech.io/对本模型训练的慷慨赞助。

本模型是在Josephgflowers/TinyLlama-3T-Cinder-v1.2基础上，使用https://huggingface.co/datasets/Josephgflowers/agent_1数据集微调而成。

模型描述

该模型专为RAG、摘要、函数调用及工具使用而训练，基于Cinder框架开发。Cinder是一个专注于STEM话题聊天、太空冒险角色扮演和故事叙述的聊天机器人。
尽管模型体积小巧，但在IFEval（指令遵循评估）中表现优异，尤其擅长摘要和RAG任务。由于Glaive函数调用数据集的格式限制，其JSON输出虽不符合常规转储标准，但严格遵循了该数据集规范。

GSM8K数学基准性能达到原始Tinyllama模型的10倍！！！

为实现这一突破，我整合了所有主流开放数学数据集（如Orca Math、Meta Math系列、camel AI数学问答等）以及尽可能多的自建/收集推理数据集。但真正提升性能的关键在于引入了TIGER-Lab/WebInstructSub数据集及大量RAG与摘要数据。
特别鸣谢TIGER-Lab团队。我发现随着数学能力的提升，模型在RAG任务中提取相关信息的能力也显著增强。

支持方式

欣赏我的工作？想看到更多成果？或有定制需求？欢迎通过Discord联系我：joseph.flowers.ra
赞助支持：https://buymeacoffee.com/josephgflowers

RAG应用示例代码参见：
https://huggingface.co/Josephgflowers/TinyLlama-Cinder-Agent-Rag/blob/main/tinyllama_agent_cinder_txtai-rag.py

开放大模型排行榜评估结果

详细结果见此处

开放大模型排行榜评估结果

详细结果见此处