pipeline_tag: 文本生成 inference: true widget:

• text: 'def print_hello_world():' example_title: Hello world group: Python

• text: '梯度下降法是' example_title: 机器学习 group: 中文

• license: bigcode-openrail-m datasets:

• bigcode/the-stack-dedup

• tiiuae/falcon-refinedweb metrics:

• 代码评估

• 多任务语言理解

• 抽象推理

• 常识推理

• 真实性问答 library_name: transformers tags:

• 代码 model-index:

• name: StarCoderPlus results:

  • task: type: 文本生成 dataset: type: openai_humaneval name: HumanEval (带提示) metrics:
    • name: 通过率@1 type: pass@1 value: 26.7 verified: false
  • task: type: 文本生成 dataset: type: MMLU (5样本) name: 多任务语言理解 metrics:
    • name: 准确率 type: 准确率 value: 45.1 verified: false
  • task: type: 文本生成 dataset: type: HellaSwag (10样本) name: 常识推理 metrics:
    • name: 准确率 type: 准确率 value: 77.3 verified: false
  • task: type: 文本生成 dataset: type: ARC (25样本) name: 抽象推理 metrics:
    • name: 准确率 type: 准确率 value: 48.9 verified: false
  • task: type: 文本生成 dataset: type: TruthfulQA (0样本) name: 真实性问答 metrics:
    • name: 准确率 type: 准确率 value: 37.9 verified: false extra_gated_prompt: |-

  模型许可协议

  请在接受前阅读BigCode的OpenRAIL-M许可协议。

extra_gated_fields: 我接受上述许可协议，并将遵守使用限制和共享要求使用该模型: checkbox