许可证：apache-2.0
基础模型：v2ray/Mixtral-8x22B-v0.1
推理支持：否
模型创建者：MaziyarPanahi
模型名称：Mixtral-8x22B-v0.1-GGUF
任务标签：文本生成
量化作者：MaziyarPanahi
标签：

• 量化
• 2比特
• 3比特
• 4比特
• 5比特
• 6比特
• 8比特
• 16比特
• GGUF
• mixtral
• 混合专家
  语言：
• 法语
• 英语
• 西班牙语
• 意大利语
• 德语

Mixtral-8x22B-v0.1-GGUF

4月10日，@MistralAI 通过磁力链接（种子）发布了一个名为 "Mixtral 8x22B" 的1760亿参数混合专家模型：

• 1410亿参数的混合专家模型，约350亿参数活跃
• 上下文长度65k tokens
• 基础模型可微调
• FP16精度下需约260GB显存，INT4量化下需73GB
• 根据其Discord公告，采用Apache 2.0许可证
• 可在@huggingface（社区）获取
• 使用与先前模型相似的tokenizer

此处的GGUF和量化模型基于v2ray/Mixtral-8x22B-v0.1模型

下载方式

您可以通过以下命令仅下载所需量化版本，无需克隆整个仓库：

huggingface-cli download MaziyarPanahi/WizardLM-2-8x22B-GGUF --local-dir . --include '*Q2_K*gguf'

加载分片模型

llama_load_model_from_file 会自动检测文件数量并加载其余文件中的张量。

llama.cpp/main -m Mixtral-8x22B-v0.1.Q2_K-00001-of-00005.gguf -p "构建网站只需10个简单步骤：\n第一步：" -n 1024 -e  

Q2_K量化模型的输出示例：

系统信息：线程数=64/128 | AVX=1 | AVX_VNNI=0 | AVX2=1 | AVX512=0 | AVX512_VBMI=0 | AVX512_VNNI=0 | FMA=1 | NEON=0 | ARM_FMA=0 | F16C=1 | FP16_VA=0 | WASM_SIMD=0 | BLAS=0 | SSE3=1 | SSSE3=1 | VSX=0 | MATMUL_INT8=0 |  
采样配置：  
        重复最后n=64，重复惩罚=1.000，频率惩罚=0.000，存在惩罚=0.000  
        最高k=40，TFS_z=1.000，最高p=0.950，最低p=0.050，典型p=1.000，温度=0.800  
        微观统计=0，微观学习率=0.100，微观熵=5.000  
采样顺序：  
CFG -> 惩罚项 -> top_k -> tfs_z -> typical_p -> top_p -> min_p -> 温度  
生成配置：上下文长度=512，批次大小=2048，预测长度=1024，保留数=1  

构建网站只需10个简单步骤：  
第一步：选择域名  
域名是您在互联网上的地址。用户通过浏览器输入域名访问您的网站。选择易记且与业务相关的域名很重要。例如，如果您是水管工，可以注册fixitplumbing.com这类域名。可通过WHOIS查询工具检查域名可用性。若域名可用，可在GoDaddy.com或Domain.com等注册商处注册。  
第二步：注册虚拟主机  
虚拟主机是存储网站文件并使其在互联网可访问的服务。选择可靠且客服良好的主机商很重要。主流主机商包括Bluehost、Hostgator和Dreamhost。  
第三步：创建网站模板  
网站模板是预设的网站框架，可作为建站起点。网络上有许多免费模板。找到心仪模板后，可下载并开始按需定制。  
第四步：添加内容  
选定模板后，需添加公司Logo、联系信息和业务介绍等内容。还可添加照片和视频增强吸引力。  
第五步：测试网站  
上线前需全面测试，包括检查失效链接、拼写错误和内容准确性。可邀请亲友测试并反馈。  
第六步：发布网站  
满意后即可将网站发布至互联网。此过程称为"上线"，需将网站文件上传至主机账户并将域名指向主机。完成后网站即可公开访问。  
第七步：推广网站  
建站不会自动带来流量。需通过搜索引擎优化(SEO)和社交媒体营销等方式推广。  
第八步：跟踪进展  
需监测网站流量、搜索排名和转化率等指标，确保正常运行且能被用户发现。  
第九步：持续更新  
建站并非终点。需定期添加新内容和修复错误，保持网站持续可用。  
第十步：重复1-10步  

建站后需通过搜索引擎提交、目录收录和社交媒体等渠道推广。还可通过口碑传播和发放名片推广。  

推广后需使用分析工具跟踪效果，了解访客数量、来源和行为。  

保持网站更新需定期发布博客、信息图或视频等内容，也可通过改版和新增功能实现。  

遵循这些步骤，您就能构建一个持续可用的网站。  

由于这是基础模型，它会持续生成内容。

致谢

• MistralAI 开源模型权重

• v2ray 下载、转换并与社区分享Mixtral-8x22B-v0.1

• philschmid 提供Twitter分享的配图

                                                                 ▄▄▄░░  
                                                        ▄▄▄▄▄█████████░░░░  
                                            ▄▄▄▄▄▄████████████████████░░░░░  
                                         █████████████████████████████░░░░░  
                    ▄▄▄▄▄▄█████░░░       █████████████████████████████░░░░░  
         ▄▄▄▄▄██████████████████░░░░░░  ██████████████████████████████░░░░░  
  ▄█████████████████████████████░░░░░░░░██████████████████████████████░░░░░  
  ███████████████████████████████░░░░░░░██████████████████████████████░░░░░  
  ███████████████████████████████░░░░░░░██████████████████████████████░░░░░  
  ███████████████████████████████░░░░░░███████████████████████████████░░░░░  
  ████████████████████████████████░░░░░███████████████████████████████░░░░░  
  ████████████████████████████████░░░░████████████████████████████████░░░░░  
  █████████████████████████████████░░░████████████████████████████████░░░░░  
  █████████████████████████████████░░░████████████░███████████████████░░░░░  
  ██████████████████████████████████░█████████████░███████████████████░░░░░  
  ███████████████████░██████████████▄█████████████░███████████████████░░░░░  
  ███████████████████░███████████████████████████░░███████████████████░░░░░  
  ███████████████████░░██████████████████████████░░███████████████████░░░░░  
  ███████████████████░░█████████████████████████░░░███████████████████░░░░░  
  ███████████████████░░░████████████████████████░░░███████████████████░░░░░  
  ███████████████████░░░████████████████████████░░░███████████████████░░░░░  
  ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░  
  ███████████████████░░░░██████████████████████░░░░███████████████████░░░░░  
  ███████████████████░░░░░█████████████████████░░░░███████████████████░░░░░  
  ███████████████████░░░░░████████████████████░░░░░███████████████████░░░░░  
  ███████████████████░░░░░░███████████████████░░░░░███████████████████░░░░░  
  ███████████████████░░░░░░██████████████████░░░░░░███████████████████░░░░░  
  ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░  
  ███████████████████░░░░░░░█████████████████░░░░░░███████████████████░░░░░  
  ███████████████████░░░░░░░░███████████████░░░░░░░██████████░░░░░░░░░░░░░░  
  ███████████████████░░░░░░░░███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  
  ███████████████████░░░░░░░░███████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  
  ███████████████████░░░░░░░░░██░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  
  ███████████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  
  ██████████░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░  ░░░░░░░  
      ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░      ░░░  
            ░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░    ░░░░░░░░░░░░░░░░░░  
               ░░░░░░░░░░░░░░░░░░░░░░░░░░░░  
                    ░░░░░░░░░░░░░░░░░  
                       ░░░░░