AIbase

T

Tinymistral 248M GGUF

由 afrideva 开发
TinyMistral-248M 是一个基于 Mistral 7B 模型预训练的小型语言模型，参数规模缩减至约2.48亿，主要用于下游任务的微调。
大型语言模型
英语
开源协议:Apache-2.0#轻量级预训练#英文文本生成#单GPU可训练
下载量 211
发布时间 : 11/14/2023
模型介绍
内容详情
替代品

模型简介

这是一个基于Mistral 7B模型预训练的语言模型，参数规模缩减至约2.48亿。该模型已在7,488,000个样本上进行训练，主要用于下游任务的微调。

模型特点

小型化设计
参数规模缩减至约2.48亿，适合在资源有限的设备上运行。
高效预训练
在单个GPU（Titan V）上完成预训练，所需数据集较小。
长上下文支持
上下文长度约为32,768个token，适合处理长文本任务。

模型能力

文本生成
下游任务微调

使用案例

自然语言处理
文本生成
用于生成连贯的英文文本。
在InstructMix评估中，平均困惑度得分为6.3。
下游任务微调
适用于需要小型语言模型的各种NLP任务。