Mistral-Evolved-11b-v0.1的量化版本,使用llama.cpp进行量化,提供多种量化选项以适应不同需求。
下载量 1,761
发布时间 : 3/17/2024
模型简介
这是一个基于Mistral-Evolved-11b-v0.1模型的量化版本,主要用于文本生成任务。量化后的模型在保持较高性能的同时,显著减小了模型大小,便于在资源有限的设备上运行。
模型特点
多种量化选项
提供从Q8_0到Q2_K的多种量化版本,用户可以根据需求选择最适合的版本。
高性能
Q6_K和Q8_0版本保持极高品质,几乎无损于原始模型性能。
资源优化
量化后的模型显著减小了文件大小,适合在资源有限的设备上运行。
模型能力
文本生成
自然语言处理
使用案例
文本生成
创意写作
用于生成故事、诗歌等创意文本。
生成高质量的创意文本内容。
对话系统
用于构建聊天机器人或虚拟助手。
提供流畅自然的对话体验。
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers

支持多种语言
L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers

英语
C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统
中文
R
uer
2,694
98
AIbase是一个专注于MCP服务的平台,为AI开发者提供高质量的模型上下文协议服务,助力AI应用开发。
简体中文