pipeline_tag: 文本生成
license: mit
datasets:

• MexIvanov/Vezora-Tested-22k-Python-Alpaca-ru
• MexIvanov/CodeExercise-Python-27k-ru
• zelkame/ru-stackoverflow-py
  language:
• 英语
• 俄语
  base_model:
• HuggingFaceH4/zephyr-7b-beta

zephyr-python-ru-merged 模型卡

模型详情

模型描述

• 开发者: C.B. 普罗宁, A.V. 沃洛索娃, A.V. 奥斯特鲁赫, Yu.N. 斯特罗戈夫, V.V. 库尔巴托夫, A.S. 乌马洛娃
• 模型类型: 基于 HuggingFaceH4/zephyr-7b-beta 的模型，融合了 LoRA (Peft) 适配器模型 MexIvanov/zephyr-python-ru，该适配器在公开数据集和机器翻译合成的 Python 编程数据集上进行了训练。
• 支持语言: 俄语、英语、Python
• 许可证: MIT
• 微调基础模型: HuggingFaceH4/zephyr-7b-beta

模型来源

• 论文: https://arxiv.org/abs/2409.09353

用途

这是一个针对 Zephyr-7b-beta 的实验性微调模型，旨在提升编程性能并支持以俄语编写的编程相关指令。

直接使用

基于自然语言（英语或俄语）指令的 Python 编程。

提示模板（Zephyr 风格）:

<|system|>  
</s>  
<|user|>  
{prompt}</s>  
<|assistant|>  

偏差、风险与限制

此适配器模型主要用于研究用途（但不限于此）。它基于代码指令集训练，且未包含任何内容过滤机制。使用风险自负，我们对模型的任何使用或输出概不负责。

引用自 Zephyr（基础模型）仓库：
"Zephyr-7B-β 未通过 RLHF 阶段与人类安全偏好对齐，也未像 ChatGPT 那样部署响应过滤机制，因此模型可能产生有问题的输出（尤其是在被引导时）。基础模型（mistralai/Mistral-7B-v0.1）训练数据集的规模和组成尚不明确，但可能包含网络数据和技术资料（如书籍和代码）的混合。示例可参考 Falcon 180B 模型卡。"

建议

用户（包括直接使用者和下游使用者）应充分了解该模型的风险、偏差和局限性。需要更多信息以提供进一步建议。

训练过程

训练中使用的 bitsandbytes 量化配置：

• 量化方法: QuantizationMethod.BITS_AND_BYTES
• load_in_8bit: 关闭
• load_in_4bit: 开启
• llm_int8_threshold: 6.0
• llm_int8_skip_modules: 无
• llm_int8_enable_fp32_cpu_offload: 关闭
• llm_int8_has_fp16_weight: 关闭
• bnb_4bit_quant_type: nf4
• bnb_4bit_use_double_quant: 关闭
• bnb_4bit_compute_dtype: float16

框架版本

• PEFT 0.6.2

（注：原文中"Training procedure"部分内容重复，此处按实际语义合并呈现）