AIbase

P

Pygmalion 6b 4bit 128g

由 mayaeary 开发
基于Pygmalion-6B的4位GPTQ量化模型，适用于对话生成任务，支持英文文本生成
大型语言模型
Transformers
英语
开源协议:Openrail#英文对话生成#4位量化#低资源推理
下载量 40
发布时间 : 3/28/2023
模型介绍
内容详情
替代品

模型简介

这是一个经过4位量化的对话生成模型，基于Pygmalion-6B实现，通过GPTQ技术压缩模型大小同时保持较好的生成质量

模型特点

4位量化
使用GPTQ技术实现4位量化，显著减少模型存储需求
128分组大小
量化时采用128的分组大小，平衡量化精度和计算效率
安全张量格式
模型以safetensors格式保存，提供更安全的模型加载方式
对话优化
专为对话场景优化的文本生成能力(推测)

模型能力

英文文本生成
对话式交互
量化推理

使用案例

对话系统
虚拟角色对话
与AI角色进行自然语言对话
生成符合角色设定的连贯回复
聊天机器人
构建轻量级英文聊天机器人
在资源受限环境下实现流畅对话
内容生成
创意写作辅助
帮助用户进行英文创意写作
生成连贯的故事情节或对话内容