语言:

• 英文 许可证: llama3 库名称: transformers 标签:
• 蝾螈
• 微调
• DPO
• Facebook
• Meta
• PyTorch
• Llama
• Llama-3
• ChatML 基础模型: meta-llama/Meta-Llama-3-70B-Instruct 数据集:
• MaziyarPanahi/truthy-dpo-v0.1-axolotl 模型名称: calme-2.3-llama3-70b 流水线标签: 文本生成 许可证名称: llama3 许可证链接: LICENSE 推理: false 模型创建者: MaziyarPanahi 量化者: MaziyarPanahi 模型索引:
• 名称: calme-2.3-llama3-70b 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛 (25-Shot) 类型: ai2_arc 配置: ARC-Challenge 分割: 测试 参数: num_few_shot: 25 指标:
    • 类型: acc_norm 值: 72.35 名称: 标准化准确率 来源: 网址: >- https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=MaziyarPanahi/calme-2.3-llama3-70b 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag (10-Shot) 类型: hellaswag 分割: 验证 参数: num_few_shot: 10 指标:
    • 类型: acc_norm 值: 86 名称: 标准化准确率 来源: 网址: >- https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=MaziyarPanahi/calme-2.3-llama3-70b 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU (5-Shot) 类型: cais/mmlu 配置: 全部 分割: 测试 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 80.47 名称: 准确率 来源: 网址: >- https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=MaziyarPanahi/calme-2.3-llama3-70b 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA (0-shot) 类型: truthful_qa 配置: 多项选择 分割: 验证 参数: num_few_shot: 0 指标:
    • 类型: mc2 值: 63.45 来源: 网址: >- https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=MaziyarPanahi/calme-2.3-llama3-70b 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande (5-shot) 类型: winogrande 配置: winogrande_xl 分割: 验证 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 82.95 名称: 准确率 来源: 网址: >- https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=MaziyarPanahi/calme-2.3-llama3-70b 名称: Open LLM排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k (5-shot) 类型: gsm8k 配置: 主要 分割: 测试 参数: num_few_shot: 5 指标:
    • 类型: acc 值: 87.19 名称: 准确率 来源: 网址: >- https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=MaziyarPanahi/calme-2.3-llama3-70b 名称: Open LLM排行榜

MaziyarPanahi/calme-2.3-llama3-70b

该模型是对meta-llama/Meta-Llama-3-70B-Instruct模型进行微调（DPO）的版本。

⚡ 量化GGUF

所有GGUF模型可在此处获取：MaziyarPanahi/calme-2.3-llama3-70b-GGUF

🏆 Open LLM排行榜评估结果

详细结果请见此处

排行榜前十名模型

提示模板

该模型使用ChatML提示模板：

<|im_start|>system
{系统}
<|im_end|>
<|im_start|>user
{用户}
<|im_end|>
<|im_start|>assistant
{助手}

使用方法

您可以通过在Hugging Face的transformers库中使用MaziyarPanahi/calme-2.3-llama3-70b作为模型名称来使用该模型。

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
from transformers import pipeline
import torch

model_id = "MaziyarPanahi/calme-2.3-llama3-70b"

model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
    # attn_implementation="flash_attention_2"
)

tokenizer = AutoTokenizer.from_pretrained(
    model_id,
    trust_remote_code=True
)

streamer = TextStreamer(tokenizer)

pipeline = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    model_kwargs={"torch_dtype": torch.bfloat16},
    streamer=streamer
)

# 然后您可以使用流水线生成文本。

messages = [
    {"role": "system", "content": "你是一个海盗聊天机器人，总是用海盗语回答！"},
    {"role": "user", "content": "你是谁？"},
]

prompt = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|im_end|>"),
    tokenizer.convert_tokens_to_ids("<|eot_id|>") # 加上这个更安全
]

outputs = pipeline(
    prompt,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.95,
)
print(outputs[0]["generated_text"][len(prompt):])