基础模型: JetBrains/Mellum-4b-base 数据集:

• Etherll/CodeFIM-Rust-Mellum

标签:

• gguf
• rust
• 代码
• 中间填充
• fim
• 大语言模型
• 文本生成

许可证: apache-2.0 语言:

• 英文 库名称: transformers

Etherll/Mellum-4b-sft-rust

Etherll/Mellum-4b-sft-rust 是一款专为**Rust代码中间填充(FIM)**任务微调的大语言模型(LLM)，基于JetBrains/Mellum-4b-base模型构建。

该模型在包含约57,000个Rust专用FIM示例的Etherll/CodeFIM-Rust-Mellum数据集上进行了微调，以提升其准确且符合上下文地补全Rust代码片段的能力。

同时提供适用于CPU推理的GGUF版本：Etherll/Mellum-4b-sft-rust-GGUF。

模型描述

本模型采用Mellum-4b-base的LLaMA风格架构（40亿参数）及其对超过4万亿标记的广泛预训练。微调过程专注于使模型适应Rust语法细节和FIM任务中的常见编码模式。

核心特性:

• 专为Rust优化: 针对Rust中间填充任务特别调优
• 基于Mellum-4b-base: 受益于JetBrains强大的基础模型
• 高效运行: 适合云端和本地部署
• IDE集成就绪: 专为开发者工具设计，与Continue.dev配合使用时能提供卓越的编程助手体验

微调数据

• 数据集: Etherll/CodeFIM-Rust-Mellum
• 规模: 约57,000条数据
• 重点: Rust代码中间填充

FIM格式

本模型训练时采用特定中间填充任务格式。进行FIM输入时请使用以下结构：

<文件名>{{{文件名}}}
<fim_后缀>{{{后缀代码}}}<fim_前缀>{{{前缀代码}}}<fim_中间>

使用指南

配合Continue.dev使用

为获得最佳集成开发体验，强烈推荐与Continue.dev配合使用本模型。

添加自定义LLM的方法请参考Continue.dev文档。

GGUF版本

GGUF版本发布于Etherll/Mellum-4b-sft-rust-GGUF。 该格式适用于通过以下工具进行本地CPU（及适配的llama.cpp/Ollama构建下的GPU）推理：

• llama.cpp
• Ollama
• LM Studio

支持与社区

如需帮助、有疑问或想交流，欢迎通过Discord联系我：etherl