标签:

• 合并
• mergekit
• lazymergekit
• shanchen/llama3-8B-slerp-med-chinese
• shenzhi-wang/Llama3-8B-Chinese-Chat 基础模型:
• shanchen/llama3-8B-slerp-med-chinese
• shenzhi-wang/Llama3-8B-Chinese-Chat 许可证: llama3 语言:
• 中文
• 英文

llama3-8B-slerp-biomed-chat-chinese

llama3-8B-slerp-biomed-chat-chinese 是通过 LazyMergekit 合并以下模型的结果：

• shanchen/llama3-8B-slerp-med-chinese
• shenzhi-wang/Llama3-8B-Chinese-Chat

🧩 配置

切片:
  - 源模型:
      - 模型: shanchen/llama3-8B-slerp-med-chinese
        层范围: [0,32]
      - 模型: shenzhi-wang/Llama3-8B-Chinese-Chat
        层范围: [0,32]
合并方法: slerp
基础模型: shenzhi-wang/Llama3-8B-Chinese-Chat
参数:
  t:
    - 过滤器: self_attn
      值: [0.3, 0.5, 0.5, 0.7, 1]
    - 过滤器: mlp
      值: [1, 0.7, 0.5, 0.5, 0.3]
    - 值: 0.5
数据类型: bfloat16

💻 使用方式

!pip install -qU transformers accelerate

from transformers import AutoTokenizer, AutoModelForCausalLM

模型ID = "shanchen/llama3-8B-slerp-biomed-chat-chinese"

分词器 = AutoTokenizer.from_pretrained(模型ID)
模型 = AutoModelForCausalLM.from_pretrained(
    模型ID, torch_dtype="auto", 设备映射="auto"
)

消息 = [
    {"角色": "用户", "内容": "你会说日语吗？"},
]

输入ID = 分词器.apply_chat_template(
    消息, 添加生成提示=True, 返回张量="pt"
).to(模型.设备)

输出 = 模型.generate(
    输入ID,
    最大新标记数=192 最大#8192,
    是否采样=True,
    温度=0.6,
    顶部概率=0.9,
)
响应 = 输出[0][输入ID.shape[-1]:]
print(分词器.decode(响应, 跳过特殊标记=True))