Mixtral 8x7B Instruct V0.1 Offloading Demo
模型简介
Mixtral 是一个高效的文本生成模型,采用混合专家架构,支持多种语言,适用于文本生成和推理任务。
模型特点
多语言支持
支持英语、法语、意大利语、德语和西班牙语等多种语言的文本生成。
高效量化
采用HQQ 4位和2位量化技术,显著减少模型大小和推理时间。
混合专家架构
采用混合专家(MoE)架构,提升模型性能和效率。
模型能力
文本生成
多语言支持
高效推理
使用案例
文本生成
多语言内容创作
生成多种语言的文本内容,如文章、故事等。
高质量的多语言文本输出。
聊天机器人
构建支持多语言的聊天机器人。
流畅的多语言对话体验。
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98
智启未来,您的人工智能解决方案智库
简体中文