Llama 3 70b Arimas Story RP V1.6 3.0bpw H6 Exl2

由 kim512 开发

这是Llama-3-70B模型的角色扮演和故事生成专用版本，经过多模型合并优化和EXL2量化处理

大型语言模型

Transformers

#长文本角色扮演 #多模型融合 #高精度故事生成

下载量 25

发布时间 : 4/25/2025

模型介绍

内容详情

替代品

模型简介

基于Llama-3-70B的多模型合并版本，专注于故事生成和角色扮演任务，提供不同比特率的EXL2量化选项

模型特点

多模型合并优化

采用breadcrumbs_ties方法合并8个不同Llama-3-70B变体，优化故事生成和角色扮演能力

EXL2量化选项

提供从3.0到8.0比特/权重的多种量化版本，平衡模型大小与性能

长上下文支持

支持8192标记的上下文长度，适合长篇故事创作和复杂角色扮演

模型能力

创意故事生成

角色扮演对话

长文本连贯性保持

多轮对话理解

使用案例

娱乐创作

互动式故事创作

与模型互动共同创作长篇故事

生成连贯、富有创意的故事情节

角色扮演游戏

作为虚拟角色与用户进行沉浸式对话

提供个性鲜明的角色回应和剧情发展

内容创作

小说写作辅助

帮助作家生成创意段落或克服写作障碍

提供多样化的写作灵感和内容建议

base_model: [] library_name: transformers tags:

mergekit
merge
llama 3
70b
arimas
story
roleplay
rp

ryzen88/Llama-3-70b-Arimas-story-RP-V1.6的EXL2量化版本

3.00比特/权重
 3.50比特/权重
 4.00比特/权重
 4.50比特/权重
 6.00比特/权重
 8.00比特/权重

使用exllamav2 1.4.0 convert.py的默认配置生成
3.0bpw至6.0bpw的头比特数=6
8.0bpw的头比特数=8
长度=8192
数据集行数=200
测量行数=32
测量长度=8192

模型

Llama-3-70b-Arimas-story-RP-V1.6

这是使用mergekit合并预训练语言模型的结果。

合并详情

本次合并大幅扩展了使用的模型数量，尝试了多种不同思路的实验。相比V1.5版本，本版本表现更加令人信服。希望量化后长上下文窗口仍能保持强劲表现。由于多次合并，从BFloat切换回Float。尝试了不带Ties的breadcrumbs方法，效果非常不理想。

合并方法

本模型采用breadcrumbs_ties合并方法，以I:\Llama-3-70B-Instruct-Gradient-262k作为基础模型。

合并模型

合并包含以下模型：

\Smaug-Llama-3-70B-Instruct
\Meta-LLama-3-Cat-Smaug-LLama-70b
\Meta-LLama-3-Cat-A-LLama-70b
\Llama-3-70B-Synthia-v3.5
\Llama-3-70B-Instruct-Gradient-524k
\Llama-3-70B-Instruct-Gradient-262k
\Tess-2.0-Llama-3-70B-v0.2
\Llama-3-Lumimaid-70B-v0.1-alt

配置

生成本模型使用的YAML配置如下：

models:
  - model: \Llama-3-70B-Instruct-Gradient-262k
    parameters:
      weight: 0.25
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-Smaug-LLama-70b
    parameters:
      weight: 0.28
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-Lumimaid-70B-v0.1-alt
    parameters:
      weight: 0.15
      density: 0.90
      gamma: 0.01
  - model: \Tess-2.0-Llama-3-70B-v0.2
    parameters:
      weight: 0.06
      density: 0.90
      gamma: 0.01
  - model: \Smaug-Llama-3-70B-Instruct
    parameters:
      weight: 0.04
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Synthia-v3.5
    parameters:
      weight: 0.05
      density: 0.90
      gamma: 0.01
  - model: \Llama-3-70B-Instruct-Gradient-524k
    parameters:
      weight: 0.03
      density: 0.90
      gamma: 0.01
  - model: \Meta-LLama-3-Cat-A-LLama-70b
    parameters:
      weight: 0.14
      density: 0.90
      gamma: 0.01
merge_method: breadcrumbs_ties
base_model: I:\Llama-3-70B-Instruct-Gradient-262k
dtype: float16