🚀 🐙 Cthulhu-24B-v1-GGUF

这是一个使用 mergekit 创建的富有创意且无审查的预训练语言模型融合体。它结合了多个预训练语言模型的优势，为文本生成任务带来了全新的体验。

✨ 主要特性

• 章鱼/鱿鱼般的特征：克苏鲁常被描述为有着“布满触手的章鱼般的头部”。在这个模型中，就像克苏鲁显著的头足类元素一样，它融合了各基础模型的独特特征。
• 多面性/混合性：洛夫克拉夫特笔下的克苏鲁是章鱼、龙和人类形象的混合体。这个融合的AI模型与之类似，结合了各个组成部分的不同功能和“个性”，每个被融合的模型都为整体贡献了独特的“方面”。
• 宇宙与古老知识：洛夫克拉夫特笔下的实体常与超越人类理解的、浩瀚古老且令人不安的知识相关联。这与一个拥有海量信息和强大能力的先进AI系统的概念相呼应。
• 潜在影响力：据说克苏鲁处于休眠状态，但他的存在仍在潜移默化地影响着人类。这个融合模型也具有一种潜在的、持续的影响力，它结合了各部分的优势。
• 深不可测的力量：洛夫克拉夫特笔下的生物拥有难以想象的强大力量。这个融合模型旨在实现类似的增强能力。

📦 安装指南

使用Homebrew安装llama.cpp（适用于Mac和Linux）

brew install llama.cpp

💻 使用示例

命令行界面（CLI）

llama-cli --hf-repo Fentible/Cthulhu-24B-v1 --hf-file Cthulhu-24B-v1-IQ4_XS.gguf -p "The meaning to life and the universe is"

服务器模式

llama-server --hf-repo Fentible/Cthulhu-24B-v1 --hf-file Cthulhu-24B-v1-IQ4_XS.gguf -c 2048

另一种使用方式

步骤1：从GitHub克隆llama.cpp

git clone https://github.com/ggerganov/llama.cpp

步骤2：进入llama.cpp文件夹并使用LLAMA_CURL=1标志以及其他特定硬件标志进行编译（例如，在Linux上使用Nvidia GPU时使用LLAMA_CUDA=1）

cd llama.cpp && LLAMA_CURL=1 make

步骤3：通过主二进制文件运行推理

./llama-cli --hf-repo Fentible/Cthulhu-24B-v1 --hf-file Cthulhu-24B-v1-IQ4_XS.gguf -p "The meaning to life and the universe is"

或者

./llama-server --hf-repo Fentible/Cthulhu-24B-v1 --hf-file Cthulhu-24B-v1-IQ4_XS.gguf -c 2048

📚 详细文档

格式

</s>[INST] [/INST]

该模型是使用llama.cpp通过Fentible的 GGUF-repo-suite 从 Fentible/Cthulhu-24B-v1 转换为GGUF格式的。

GGUF Repo Suite 基于ggml.ai的 GGUF-my-repo 空间的重构分支，为Windows离线使用进行了更新，并支持较低的量化精度。

imatrix.dat 使用bartowski的 calibration_datav3.txt 生成。

有关该模型的更多详细信息，请参考 原始模型卡片。

融合详情

融合方法

此模型使用 DARE_TIES 融合方法，以 PocketDoc/Dans-PersonalityEngine-V1.3.0-24b 为基础进行融合。

参与融合的模型

以下模型参与了融合：

• PocketDoc/Dans-PersonalityEngine-V1.3.0-24b
• TheDrummer/Cydonia-24B-v3.1
• Gryphe/Codex-24B-Small-3.2
• LatitudeGames/Harbinger-24B
• Doctor-Shotgun/MS3.2-24B-Magnum-Diamond
• aixonlab/Eurydice-24b-v3.5
• SicariusSicariiStuff/Impish_Magic_24B
• ReadyArt/MS3.2-The-Omega-Directive-24B-Unslop-v2.0

配置

以下YAML配置用于生成此模型：

base_model: PocketDoc/Dans-PersonalityEngine-V1.3.0-24b
merge_method: dare_ties
dtype: bfloat16
models:
  - model: PocketDoc/Dans-PersonalityEngine-V1.3.0-24b
    parameters:
      density: 0.5
      weight: 0.125
  - model: TheDrummer/Cydonia-24B-v3.1
    parameters:
      density: 0.5
      weight: 0.125
  - model: Gryphe/Codex-24B-Small-3.2
    parameters:
      density: 0.5
      weight: 0.125
  - model: LatitudeGames/Harbinger-24B
    parameters:
      density: 0.5
      weight: 0.125
  - model: Doctor-Shotgun/MS3.2-24B-Magnum-Diamond
    parameters:
      density: 0.5
      weight: 0.125
  - model: aixonlab/Eurydice-24b-v3.5
    parameters:
      density: 0.5
      weight: 0.125
  - model: SicariusSicariiStuff/Impish_Magic_24B
    parameters:
      density: 0.5
      weight: 0.125
  - model: ReadyArt/MS3.2-The-Omega-Directive-24B-Unslop-v2.0
    parameters:
      density: 0.5
      weight: 0.125
tokenizer:
source: union
chat_template: auto

📄 许可证

本项目采用 apache-2.0 许可证。