Z

Zephyr 7b Sft Full

由 alignment-handbook 开发
基于Mistral-7B在ultrachat_200k数据集上微调的对话模型
下载量 8,567
发布时间 : 11/9/2023
模型介绍
内容详情
替代品

模型简介

该模型是基于Mistral-7B架构的大语言模型,经过监督微调(SFT)优化,专注于对话生成任务。

模型特点

监督微调优化
使用ultrachat_200k对话数据集进行监督微调,提升对话生成质量
高效训练
采用多GPU分布式训练,优化训练效率
优化策略
使用余弦退火学习率调度和预热策略,提高训练稳定性

模型能力

对话生成
文本补全
指令跟随

使用案例

对话系统
智能助手
可用于构建智能对话助手
客服机器人
适用于构建自动化客服系统
文本生成
内容创作
辅助进行创意写作和内容生成