Open R1 OlympicCoder 7B GGUF

由 bartowski 开发

OlympicCoder-7B是一个专注于代码生成的7B参数大语言模型，基于open-r1/OlympicCoder-7B进行llama.cpp量化，支持多种量化级别选择。

大型语言模型

英语

开源协议:Apache-2.0 #代码生成 #竞赛编程 #多级量化

下载量 5,859

发布时间 : 3/11/2025

模型介绍

内容详情

替代品

模型简介

这是一个针对编程竞赛和代码生成任务优化的7B参数语言模型，提供从BF16到Q2_K的多种量化版本，适用于不同硬件环境。

模型特点

多样化量化选项

提供从BF16到Q2_K共22种量化版本，满足不同硬件性能和存储需求

代码生成优化

基于Codeforces竞赛数据集训练，擅长解决编程竞赛类问题

跨平台支持

支持LM Studio、llama.cpp等多种运行环境，兼容ARM/AVX架构

智能权重分配

部分量化版本中嵌入和输出权重使用更高精度的Q8_0量化

模型能力

代码生成

编程问题解答

算法实现

文本补全

使用案例

编程教育

编程竞赛训练

帮助学生理解和解决类似Codeforces的编程竞赛题目

可生成符合竞赛要求的代码解决方案

开发辅助

代码自动补全

在IDE中提供智能代码补全建议

提高开发效率，减少重复编码工作

量化者：bartowski
任务标签：文本生成
支持语言：

英语
许可证：Apache-2.0
基础模型：open-r1/OlympicCoder-7B
数据集：
open-r1/codeforces-cots

open-r1团队OlympicCoder-7B的Llamacpp imatrix量化版本

使用llama.cpp发布的b4867版本进行量化。

原始模型：https://huggingface.co/open-r1/OlympicCoder-7B

所有量化均采用imatrix选项，数据集来自此处

可在LM Studio中运行

或直接通过llama.cpp及任何基于llama.cpp的项目运行

提示词格式

<|im_start|>system  
{系统提示}<|im_end|>  
<|im_start|>user  
{用户输入}<|im_end|>  
<|im_start|>assistant  
<思考>

从下方下载单个文件（非完整分支）：

文件名	量化类型	文件大小	分片	描述
OlympicCoder-7B-bf16.gguf	bf16	15.24GB	否	完整BF16权重
OlympicCoder-7B-Q8_0.gguf	Q8_0	8.10GB	否	极高品质，通常无需但为最高可用量化
OlympicCoder-7B-Q6_K_L.gguf	Q6_K_L	6.52GB	否	嵌入和输出权重使用Q8_0。接近完美品质，推荐
OlympicCoder-7B-Q6_K.gguf	Q6_K	6.25GB	否	极高品质，接近完美，推荐
OlympicCoder-7B-Q5_K_L.gguf	Q5_K_L	5.78GB	否	嵌入和输出权重使用Q8_0。高品质，推荐
OlympicCoder-7B-Q5_K_M.gguf	Q5_K_M	5.44GB	否	高品质，推荐
OlympicCoder-7B-Q5_K_S.gguf	Q5_K_S	5.32GB	否	高品质，推荐
OlympicCoder-7B-Q4_K_L.gguf	Q4_K_L	5.09GB	否	嵌入和输出权重使用Q8_0。良好品质，推荐
OlympicCoder-7B-Q4_1.gguf	Q4_1	4.87GB	否	传统格式，性能类似Q4_K_S，但在Apple芯片上能效更优
OlympicCoder-7B-Q4_K_M.gguf	Q4_K_M	4.68GB	否	良好品质，多数场景默认选择，推荐
OlympicCoder-7B-Q3_K_XL.gguf	Q3_K_XL	4.57GB	否	嵌入和输出权重使用Q8_0。质量较低但可用，适合内存受限环境
OlympicCoder-7B-Q4_K_S.gguf	Q4_K_S	4.46GB	否	质量略低但更省空间，推荐
OlympicCoder-7B-Q4_0.gguf	Q4_0	4.44GB	否	传统格式，支持ARM/AVX CPU在线重打包推理
OlympicCoder-7B-IQ4_NL.gguf	IQ4_NL	4.44GB	否	类似IQ4_XS但稍大，支持ARM CPU在线重打包
OlympicCoder-7B-IQ4_XS.gguf	IQ4_XS	4.22GB	否	质量尚可，比Q4_K_S更小且性能相近，推荐
OlympicCoder-7B-Q3_K_L.gguf	Q3_K_L	4.09GB	否	质量较低但可用，适合内存受限环境
OlympicCoder-7B-Q3_K_M.gguf	Q3_K_M	3.81GB	否	低质量
OlympicCoder-7B-IQ3_M.gguf	IQ3_M	3.57GB	否	中低质量，新方法性能接近Q3_K_M
OlympicCoder-7B-Q2_K_L.gguf	Q2_K_L	3.55GB	否	嵌入和输出权重使用Q8_0。质量极低但意外可用
OlympicCoder-7B-Q3_K_S.gguf	Q3_K_S	3.49GB	否	低质量，不推荐
OlympicCoder-7B-IQ3_XS.gguf	IQ3_XS	3.35GB	否	较低质量，新方法性能略优于Q3_K_S
OlympicCoder-7B-IQ3_XXS.gguf	IQ3_XXS	3.11GB	否	较低质量，新方法性能接近Q3量化
OlympicCoder-7B-Q2_K.gguf	Q2_K	3.02GB	否	质量极低但意外可用
OlympicCoder-7B-IQ2_M.gguf	IQ2_M	2.78GB	否	质量相对较低，采用前沿技术实现意外可用性

嵌入/输出权重说明

部分量化文件（如Q3_K_XL、Q4_K_L等）采用标准量化方法，但将嵌入层和输出权重单独量化为Q8_0格式。

使用huggingface-cli下载

点击查看下载说明

首先确保已安装huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后指定目标文件下载：

huggingface-cli download bartowski/open-r1_OlympicCoder-7B-GGUF --include "open-r1_OlympicCoder-7B-Q4_K_M.gguf" --local-dir ./

若模型超过50GB会分片存储，下载全部文件到本地目录：

huggingface-cli download bartowski/open-r1_OlympicCoder-7B-GGUF --include "open-r1_OlympicCoder-7B-Q8_0/*" --local-dir ./

可指定新目录（如open-r1_OlympicCoder-7B-Q8_0）或直接下载到当前目录（./）

ARM/AVX硬件信息

以往需下载Q4_0_4_4/4_8/8_8等分片版本，这些文件通过内存交错排列提升ARM/AVX设备性能。

现支持权重"在线重打包"功能（详见此PR）。使用Q4_0量化时，硬件若受益于重打包将自动处理。

自llama.cpp b4282版本起，旧版Q4_0_X_X文件不可用，需改用Q4_0。

此外，通过此PR可使用IQ4

精选推荐AI模型

Llama 3 Typhoon V1.5x 8b Instruct

专为泰语设计的80亿参数指令模型，性能媲美GPT-3.5-turbo，优化了应用场景、检索增强生成、受限生成和推理任务

Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型，专为边缘设备推理设计，体积仅为Cosmo-3B模型的2%左右。

Roberta Base Chinese Extractive Qa

基于RoBERTa架构的中文抽取式问答模型，适用于从给定文本中提取答案的任务。

AIbase是一个专注于MCP服务的平台，为AI开发者提供高质量的模型上下文协议服务，助力AI应用开发。

简体中文

热门模型

Llama 3 Typhoon V1.5x 8b Instruct

Cadet Tiny

Roberta Base Chinese Extractive Qa

热门模型分类

热门标签