Storytime 13B GPTQ

由 TheBloke 开发

Storytime 13B 是一个基于 LLaMA 架构的大语言模型，专注于中文文本生成任务，尤其擅长故事创作。

大型语言模型

Transformers

英语

#故事生成 #长文本处理 #中文支持

下载量 134

发布时间 : 9/23/2023

模型介绍

内容详情

替代品

模型简介

该模型由 Charles Goddard 开发，基于 LLaMA 架构，经过优化用于中文文本生成。模型使用 Alpaca 风格的提示模板，适合创意写作和故事生成任务。

模型特点

中文优化

专门针对中文文本生成进行了优化

故事创作

特别适合创意写作和故事生成任务

Alpaca 提示模板

使用标准化的 Alpaca 风格提示模板，便于使用

多量化版本

提供多种 GPTQ 量化版本，适应不同硬件需求

模型能力

中文文本生成

故事创作

指令跟随

创意写作

使用案例

内容创作

故事生成

根据用户提供的提示生成完整的故事

能够生成连贯、有创意的故事情节

创意写作辅助

帮助作家克服写作障碍，提供创意灵感

提供多样化的写作思路和情节发展建议

教育

写作教学

用于语言学习中的写作练习

帮助学生练习中文写作技巧

language:

zh license: llama2 tags:
llama model_name: Storytime 13B base_model: chargoddard/storytime-13b inference: false model_creator: Charles Goddard model_type: llama prompt_template: '以下是一个描述任务的指令。请撰写一个恰当完成该请求的回应。

指令:

{prompt}

回应:

' quantized_by: TheBloke

交流与支持：TheBloke的Discord服务器

想要贡献？访问TheBloke的Patreon页面

TheBloke的LLM工作得到了安德森·霍洛维茨（a16z）的慷慨资助

Storytime 13B - GPTQ

模型创作者: Charles Goddard
原始模型: Storytime 13B

描述

此仓库包含Charles Goddard的Storytime 13B的GPTQ模型文件。

提供了多种GPTQ参数组合；详情请参阅下面的“提供文件”部分，了解提供的选项、参数及创建它们所使用的软件。

可用仓库

提示模板：Alpaca

以下是一个描述任务的指令。请撰写一个恰当完成该请求的回应。

### 指令：
{prompt}

### 回应：

提供的文件及GPTQ参数

提供了多种量化参数，以便您根据硬件和需求选择最适合的。

每个独立的量化文件位于不同的分支。有关从不同分支获取的说明，请参见下文。

所有最近的GPTQ文件均使用AutoGPTQ制作，非主分支中的所有文件也使用AutoGPTQ制作。主分支中2023年8月之前上传的文件使用GPTQ-for-LLaMa制作。

GPTQ参数说明

位数：量化模型的位数大小。
GS：GPTQ组大小。数值越高，使用的VRAM越少，但量化精度越低。"None"是最低可能值。
激活顺序：True或False。也称为desc_act。True能提高量化精度。一些GPTQ客户端在使用激活顺序加组大小时曾遇到问题，但现已普遍解决。
阻尼百分比：影响量化样本处理的GPTQ参数。默认为0.01，但0.1能略微提高精度。
GPTQ数据集：量化期间使用的校准数据集。使用更符合模型训练的数据集可以提高量化精度。注意，GPTQ校准数据集与训练模型所用的数据集不同——详情请参阅原始模型仓库的训练数据集信息。
序列长度：用于量化的数据集序列长度。理想情况下应与模型序列长度相同。对于某些超长序列模型（16+K），可能需要使用较低的序列长度。注意，较低的序列长度不会限制量化模型的序列长度，仅影响较长推理序列的量化精度。
ExLlama兼容性：此文件是否可以用ExLlama加载，目前仅支持4位的Llama模型。

分支	位数	GS	激活顺序	阻尼百分比	GPTQ数据集	序列长度	大小	ExLlama	描述
main	4	128	是	0.1	wikitext	4096	7.26 GB	是	4位，带激活顺序和组大小128g。比64g使用更少VRAM，但精度略低。
gptq-4-32g-actorder_True	4	32	是	0.1	wikitext	4096	8.00 GB	是	4位，带激活顺序和组大小32g。提供最高推理质量，VRAM使用量最大。
gptq-8--1g-actorder_True	8	无	是	0.1	wikitext	4096	13.36 GB	否	8位，带激活顺序。无组大小，降低VRAM需求。
gptq-8-128g-actorder_True	8	128	是	0.1	wikitext	4096	13.65 GB	否	8位，组大小128g以提高推理质量，带激活顺序进一步提高精度。
gptq-8-32g-actorder_True	8	32	是	0.1	wikitext	4096	14.54 GB	否	8位，组大小32g加激活顺序，提供最高推理质量。
gptq-4-64g-actorder_True	4	64	是	0.1	wikitext	4096	7.51 GB	是	4位，带激活顺序和组大小64g。比32g使用更少VRAM，但精度略低。

如何下载，包括从分支下载

在text-generation-webui中

要从main分支下载，在“下载模型”框中输入TheBloke/storytime-13B-GPTQ。

要从其他分支下载，在下载名称后添加:branchname，例如TheBloke/storytime-13B-GPTQ:gptq-4-32g-actorder_True

从命令行

推荐使用huggingface-hub Python库：

pip3 install huggingface-hub

要将main分支下载到名为storytime-13B-GPTQ的文件夹：

mkdir storytime-13B-GPTQ
huggingface-cli download TheBloke/storytime-13B-GPTQ --local-dir storytime-13B-GPTQ --local-dir-use-symlinks False

要从不同分支下载，添加--revision参数：

mkdir storytime-13B-GPTQ
huggingface-cli download TheBloke/storytime-13B-GPTQ --revision gptq-4-32g-actorder_True --local-dir storytime-13B-GPTQ --local-dir-use-symlinks False

更多高级huggingface-cli下载用法

如果移除--local-dir-use-symlinks False参数，文件将存储在中央Huggingface缓存目录中（Linux上默认位置为：~/.cache/huggingface），并在指定的--local-dir中添加符号链接，指向缓存中的实际位置。这允许中断的下载恢复，并可以快速将仓库克隆到磁盘上的多个位置而不触发重复下载。缺点是文件隐藏在缓存文件夹中，难以了解磁盘空间使用情况，且在想要移除下载模型时清理较困难。

可以通过HF_HOME环境变量和/或huggingface-cli的--cache-dir参数更改缓存位置。

有关使用huggingface-cli下载的更多文档，请参阅：HF -> Hub Python库 -> 下载文件 -> 从CLI下载。

要在快速连接（1Gbit/s或更高）上加速下载，安装hf_transfer：

pip3 install hf_transfer

并设置环境变量HF_HUB_ENABLE_HF_TRANSFER为1：

mkdir storytime-13B-GPTQ
HF_HUB_ENABLE_HF_TRANSFER=1 huggingface-cli download TheBloke/storytime-13B-GPTQ --local-dir storytime-13B-GPTQ --local-dir-use-symlinks False

Windows命令行用户：可以在下载命令前运行set HF_HUB_ENABLE_HF_TRANSFER=1设置环境变量。

使用`git`（不推荐）

要使用git克隆特定分支，使用如下命令：

git clone --single-branch --branch gptq-4-32g-actorder_True https://huggingface.co/TheBloke/storytime-13B-GPTQ

注意，强烈不建议使用Git与HF仓库。它会比使用huggingface-hub慢得多，且会占用两倍磁盘空间（它会在目标文件夹和.git文件夹中重复存储每个字节）。

如何在text-generation-webui中轻松下载和使用此模型。

请确保您使用的是最新版本的text-generation-webui。

强烈建议使用text-generation-webui的一键安装程序，除非您确定知道如何进行手动安装。

点击模型标签。
在下载自定义模型或LoRA下，输入TheBloke/storytime-13B-GPTQ。

要从特定分支下载，例如输入TheBloke/storytime-13B-GPTQ:gptq-4-32g-actorder_True
有关每个选项的分支列表，请参阅上面的“提供文件”部分。 3

精选推荐AI模型

Llama 3 Typhoon V1.5x 8b Instruct

专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务

Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。

Roberta Base Chinese Extractive Qa

基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

热门模型

Llama 3 Typhoon V1.5x 8b Instruct

Cadet Tiny

Roberta Base Chinese Extractive Qa

热门模型分类

热门标签

Storytime 13B GPTQ

模型简介

模型特点

模型能力

使用案例

指令:

回应:

Storytime 13B - GPTQ

描述

可用仓库

提示模板：Alpaca

提供的文件及GPTQ参数

如何下载，包括从分支下载

在text-generation-webui中

从命令行

使用git（不推荐）

如何在text-generation-webui中轻松下载和使用此模型。

使用`git`（不推荐）