license: apache-2.0
language:

• fr
• it
• de
• es
• en
  tags:
• moe
• mixtral
• sharegpt
• axolotl
  library_name: transformers
  base_model: v2ray/Mixtral-8x22B-v0.1
  inference: false
  model_creator: MaziyarPanahi
  model_name: Goku-8x22B-v0.1
  pipeline_tag: text-generation
  quantized_by: MaziyarPanahi
  datasets:
• philschmid/guanaco-sharegpt-style

Goku-8x22B-v0.1 (Goku 141b-A35b)

这是基于 philschmid/guanaco-sharegpt-style 数据集对 v2ray/Mixtral-8x22B-v0.1 模型进行微调的版本。该模型总参数量达1410亿，其中仅350亿处于激活状态。

使用方法

通过高级管道助手调用：

from transformers import pipeline  

pipe = pipeline("text-generation", model="MaziyarPanahi/Goku-8x22B-v0.1")  

直接加载模型：

from transformers import AutoTokenizer, AutoModelForCausalLM  

tokenizer = AutoTokenizer.from_pretrained("MaziyarPanahi/Goku-8x22B-v0.1")  
model = AutoModelForCausalLM.from_pretrained("MaziyarPanahi/Goku-8x22B-v0.1")  

通过适配器加载：

若已下载以下任一基础模型：v2ray/Mixtral-8x22B-v0.1 或 mistral-community/Mixtral-8x22B-v0.1（二者相同），可使用PEFT仅加载适配器：

# 假设已下载基础模型  
# 调整词表大小  
import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model_id="v2ray/Mixtral-8x22B-v0.1"  
peft_model_id = "~/.cache/huggingface/hub/models--MaziyarPanahi--Goku-8x22B-v0.1/adapter"  

tokenizer = AutoTokenizer.from_pretrained(peft_model_id)  
model = AutoModelForCausalLM.from_pretrained(model_id)  
# 为ChatML模板新增了2个标记  
# 使用PEFT/适配器时必须执行此步骤  
model.resize_token_embeddings(len(tokenizer))  
model.load_adapter(peft_model_id)  

# 还可结合TextStreamer创建文本生成管道  
streamer = TextStreamer(tokenizer)  

pipe = pipeline(  
    "text-generation",  
    model=model,  
    tokenizer=tokenizer,  
    max_new_tokens=750,  
    temperature=0.6,  
    do_sample=True,  
    top_k=50,  
    top_p=0.95,  
    repetition_penalty=1.1,  
    return_full_text=False,  
    add_special_tokens=False,  
    streamer=streamer  
)  

示例

Goku-8x22B-v0.1 已通过文本生成、长上下文问答、编程及基础推理测试。下个版本将引入更多与数学和编程相关的数据集。

以下是 MaziyarPanahi/Goku-8x22B-v0.1 创作的故事样本：

悟空听到屋外有动静，但查看时却空无一物。他心想："算了，可能只是只鸟什么的，应该没事。"可这时异响再起，他冲出门外，这次看见地平线上有两个身影：一个是粉紫色的巨型生物，另一个则是圆滚滚的粉色小球。

随着身影逼近，悟空认出那巨物竟是昔日强敌魔人布欧，而小球则是来自波普星的星际战士卡比。他难以置信地瞪大眼睛。

两个生物带着威胁逼近。"我和卡比结盟了，"魔人布欧宣布，"我们要毁灭世界！"

这宣言让悟空猝不及防。他从未想过这两个强大存在会联手。必须阻止他们继续破坏。

他深吸一口气直面敌人："你们休想得逞！我绝不会让你们毁灭世界。"

魔人布欧嗤笑："你阻止不了的！我们的力量远超想象！"

悟空手中瞬间凝聚出能量球："试试看吧。"

惊天大战随即爆发。两个生物配合默契，能量攻击如暴雨倾泻。但悟空以攻代守，气功波与龟派气功交相辉映。

经过漫长鏖战，悟空逐渐占据上风。一记终极闪光将二人击溃。望着满目疮痍的战场，他明白修复工作才刚开始。

他集齐全身能量，耀眼光芒笼罩全身。随着战吼，毁灭性能量洪流奔涌而出。

冲击波震飞了两个对手。就在他们眩晕的瞬间，悟空连续发动气功弹压制。但敌人很快重整旗鼓展开反击。

战机稍纵即逝。悟空将所有能量注入最后一击，卡比瞬间化作流星消失在天际。

随后他转向魔人布欧，龟派气功波如银河倾泻。最终这个邪恶化身也轰然倒地。

硝烟散尽，悟空凝视着破碎的大地。修复世界的重任才刚刚开始，但他目光坚定。

经过昼夜不休的努力，金色气焰所到之处万物复苏。当最后一块碎石归位时，朝阳正穿透云层。

这场跨越星球的传奇之战，最终以守护者的胜利告终。世界重归和平，而悟空的传说又添新章。