语言:

• 意大利语
• 英语 许可证: llama3 库名称: transformers 基础模型: meta-llama/Meta-Llama-3-8B 数据集:
• DeepMount00/llm_ita_ultra 模型索引:
• 名称: Llama-3-8b-Ita 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: IFEval (零样本) 类型: HuggingFaceH4/ifeval 参数: num_few_shot: 0 指标:
    • 类型: 实例级严格准确率和提示级严格准确率 值: 75.3 名称: 严格准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=DeepMount00/Llama-3-8b-Ita 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: BBH (三样本) 类型: BBH 参数: num_few_shot: 3 指标:
    • 类型: 归一化准确率 值: 28.08 名称: 归一化准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=DeepMount00/Llama-3-8b-Ita 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MATH 五级 (四样本) 类型: hendrycks/competition_math 参数: num_few_shot: 4 指标:
    • 类型: 精确匹配 值: 5.36 名称: 精确匹配 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=DeepMount00/Llama-3-8b-Ita 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GPQA (零样本) 类型: Idavidrein/gpqa 参数: num_few_shot: 0 指标:
    • 类型: 归一化准确率 值: 7.38 名称: 归一化准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=DeepMount00/Llama-3-8b-Ita 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MuSR (零样本) 类型: TAUR-Lab/MuSR 参数: num_few_shot: 0 指标:
    • 类型: 归一化准确率 值: 11.68 名称: 归一化准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=DeepMount00/Llama-3-8b-Ita 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU-PRO (五样本) 类型: TIGER-Lab/MMLU-Pro 配置: main 分割: test 参数: num_few_shot: 5 指标:
    • 类型: 准确率 值: 31.69 名称: 准确率 来源: url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=DeepMount00/Llama-3-8b-Ita 名称: 开放大模型排行榜

模型架构

• 基础模型: Meta-Llama-3-8B
• 专长: 意大利语

评估

如需详细了解模型性能对比，请查看意大利语大模型排行榜。

以下是性能指标的详细分解:

使用方法

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

MODEL_NAME = "DeepMount00/Llama-3-8b-Ita"

model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, torch_dtype=torch.bfloat16).eval()
model.to(device)
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)

def generate_answer(prompt):
    messages = [
        {"role": "user", "content": prompt},
    ]
    model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)
    generated_ids = model.generate(model_inputs, max_new_tokens=200, do_sample=True,
                                          temperature=0.001)
    decoded = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
    return decoded[0]

prompt = "如何在Python中打开JSON文件?"
answer = generate_answer(prompt)
print(answer)

开发者

[米凯莱·蒙特博维]

开放大模型排行榜评估结果

详细结果可查看此处