许可证：MIT
模型索引：

• 名称：piccolo-math-2x7b
  结果：
  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：AI2推理挑战赛（25样本）
    类型：ai2_arc
    配置：ARC挑战赛
    拆分：测试集
    参数：
    少量样本数：25
    指标：
    • 类型：标准化准确率
      值：69.11
      名称：标准化准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/piccolo-math-2x7b
      名称：开放大语言模型排行榜
  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：HellaSwag（10样本）
    类型：hellaswag
    拆分：验证集
    参数：
    少量样本数：10
    指标：
    • 类型：标准化准确率
      值：87.27
      名称：标准化准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/piccolo-math-2x7b
      名称：开放大语言模型排行榜
  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：MMLU（5样本）
    类型：cais/mmlu
    配置：全部
    拆分：测试集
    参数：
    少量样本数：5
    指标：
    • 类型：准确率
      值：63.69
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/piccolo-math-2x7b
      名称：开放大语言模型排行榜
  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：TruthfulQA（0样本）
    类型：truthful_qa
    配置：多项选择
    拆分：验证集
    参数：
    少量样本数：0
    指标：
    • 类型：mc2
      值：63.86
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/piccolo-math-2x7b
      名称：开放大语言模型排行榜
  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：Winogrande（5样本）
    类型：winogrande
    配置：winogrande_xl
    拆分：验证集
    参数：
    少量样本数：5
    指标：
    • 类型：准确率
      值：79.87
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/piccolo-math-2x7b
      名称：开放大语言模型排行榜
  • 任务：
    类型：文本生成
    名称：文本生成
    数据集：
    名称：GSM8k（5样本）
    类型：gsm8k
    配置：主测试集
    拆分：测试集
    参数：
    少量样本数：5
    指标：
    • 类型：准确率
      值：70.13
      名称：准确率
      来源：
      URL：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=macadeliccc/piccolo-math-2x7b
      名称：开放大语言模型排行榜

Piccolo-math-2x7b

纪念我心爱的狗狗克劳斯（Piccolo）
~ Piccolo（意大利语）：小家伙 ~

代码示例

推理和评估的Colab笔记本可在此处获取链接

from transformers import AutoModelForCausalLM, AutoTokenizer  

def generate_response(prompt):  
    """  
    根据输入提示生成模型的响应。  
    参数：  
    prompt (str)：模型的提示文本。  

    返回：  
    str：模型生成的响应。  
    """  
    inputs = tokenizer(prompt, return_tensors="pt")  
    outputs = model.generate(**inputs, max_new_tokens=256, eos_token_id=tokenizer.eos_token_id, pad_token_id=tokenizer.pad_token_id)  

    response = tokenizer.decode(outputs[0], skip_special_tokens=True)  

    return response  

model_id = "macadeliccc/piccolo-math-2x7b"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
model = AutoModelForCausalLM.from_pretrained(model_id, load_in_4bit=True)  

prompt = "训练意大利卡斯罗犬的最佳方法是什么？"  

print("响应：")  
print(generate_response(prompt), "\n")  

该模型能够处理高质量的代码、数学和逻辑推理问题。尝试提出任何你能想到的问题。

评估结果

EQ基准测试

测试完成：

• 2024-01-24 00:00:40
• 耗时：183.3分钟
• 提示格式：Mistral
• 模型：macadeliccc/piccolo-math-2x7b
• 得分（v2）：70.74
• 可解析性：167.0

批次完成
耗时：183.3分钟

AGIEval

平均分：43.89%

GPT4All

平均分：74.98%

TruthfulQA

平均分：63.96%

Bigbench

平均分：44.99%

平均得分：56.96%

耗时：01:51:53

[开放大语言模型排行榜评估结果](https://huggingface.co/spaces/HuggingFaceH4/open_ll