Refact 1 6B Fim GGUF
模型简介
模型特点
模型能力
使用案例
pipeline_tag: 文本生成
inference: true
widget:
- text: 'def print_hello_world():'
example_title: Hello world
group: Python
license: bigscience-openrail-m
pretrain-datasets: - 书籍
- 学术论文
- C4数据集
- 精炼网页数据
- 维基百科
- GitHub问题
- 技术论坛Markdown
- 自主收集的开源代码数据集
datasets: - bigcode/the-stack-dedup
- rombodawg/2XUNCENSORED_MegaCodeTraining188k
- bigcode/commitpackft
metrics: - 代码评估
library_name: transformers
tags: - 代码
model-index: - name: Refact-1.6B
results:-
task:
type: 文本生成
dataset:
type: openai_humaneval
name: HumanEval
metrics:- name: 首次通过率@1 (T=0.01)
type: 首次通过率@1
value: 32.0
verified: false - name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 31.5
verified: false - name: 首次通过率@10 (T=0.8)
type: 首次通过率@10
value: 53.0
verified: false - name: 首次通过率@100 (T=0.8)
type: 首次通过率@100
value: 76.9
verified: false
- name: 首次通过率@1 (T=0.01)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalSynthesize Python
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 35.8
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalSynthesize JavaScript
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 31.6
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalSynthesize Java
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 29.1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalSynthesize Go
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalSynthesize C++
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 26.3
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalSynthesize Rust
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalSynthesize Average
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixTests Python
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 18.38
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixTests JavaScript
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 12.28
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixTests Java
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 15.12
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixTests Go
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixTests C++
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 13.17
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixTests Rust
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 2.8
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixTests Average
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixDocs Python
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 26.92
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixDocs JavaScript
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 26.85
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixDocs Java
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 30.76
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixDocs Go
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixDocs C++
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 25.94
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixDocs Rust
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 8.44
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalFixDocs Average
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalExplain Python
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 26.46
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalExplain JavaScript
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 17.86
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalExplain Java
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 20.94
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalExplain Go
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalExplain C++
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 18.78
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalExplain Rust
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: bigcode/humanevalpack
name: HumanEvalExplain Average
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: -1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: mbpp
name: MBPP
metrics:- name: 首次通过率@1 (T=0.01)
type: 首次通过率@1
value: 31.15
verified: false
- name: 首次通过率@1 (T=0.01)
-
task:
type: 文本生成
dataset:
type: ds1000
name: DS-1000 (总体完成度)
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 10.1
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (C++)
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 21.61
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
dataset:
type: nuprl/MultiPL-E
name: MultiPL-HumanEval (C#)
metrics:- name: 首次通过率@1 (T=0.2)
type: 首次通过率@1
value: 13.91
verified: false
- name: 首次通过率@1 (T=0.2)
-
task:
type: 文本生成
-


