语言:

• 英语
• 俄语 许可证: Apache-2.0 任务标签: 文本生成 基础模型: HuggingFaceTB/SmolLM2-135M 数据集: nyuuzyou/EagleSFT 二氧化碳当量排放: 排放量: 3110 # 单位为克 来源: "根据电力消耗和地区碳强度计算得出" 训练类型: "微调" 地理位置: "俄罗斯秋明市和俄罗斯圣彼得堡市" 硬件使用: "1张RTX 4090显卡"

SmolLM2-135M-Eagle俄英双语模型

SmolLM2-135M-Eagle是基于SmolLM2-135M基础模型在EagleSFT数据集上微调的版本，旨在提升模型处理俄英双语任务的能力。

本模型的GGUF量化版本已发布：SmolLM2-135M-Eagle-GGUF

模型描述

SmolLM2-135M-Eagle是一个轻量级语言模型，经过专门微调以处理双语内容。此次微调在保持英语能力的同时，增强了模型对俄语内容的理解与生成能力。

基础模型

该模型基于SmolLM2-135M构建，这个拥有1.35亿参数的紧凑模型在性能与资源需求之间取得了良好平衡。

微调详情

数据集

模型在EagleSFT数据集上微调，该数据集包含536,231组俄英双语的人类问题与机器生成回答，主要涵盖教育类内容，同时包含日常问答和休闲对话。

环境影响

• 训练时长: 总计26小时26分钟
  • 俄罗斯秋明市训练15小时19分52秒（功耗300W）
  • 圣彼得堡训练11小时6分8秒（功耗360W）
• 硬件配置: 单张RTX 4090显卡
• 碳排放: 约3.11千克CO2当量
  • 根据地区平均功耗和碳排放强度（350g/kWh）计算得出
  • 秋明市: 300W × 15.33h × 350g/kWh = 1.61千克
  • 圣彼得堡: 360W × 11.10h × 350g/kWh = 1.50千克

训练参数

• 训练方法: 监督式微调(SFT)
• 训练轮次: 2
• 学习率: 3.0e-04
• 计算精度: bfloat16

能力与局限

需特别注意：本模型未进行预训练，仅通过少量token进行监督微调。这意味着模型在处理俄语时可供参考的数据量远少于英语场景。

尽管存在显著局限，模型在以下方面展现出微弱提升：

• 俄语提示的基础识别（但存在频繁误解）
• 处理"俄语提问+英语回答"的简单任务格式
• 俄译英基础翻译（质量仍然欠佳）

模型的俄语理解能力完全来自监督微调过程，缺乏俄语语料的正式预训练，因此功能存在严重局限。

实验性能力

模型展现出某些实验性功能，但存在重大缺陷：

• 俄语文本基础理解（错误率和误判率高）
• 有限的俄语问答能力（质量显著低于英语）
• 基础的俄译英能力（优于英译俄表现）

使用限制

• 禁止生产环境使用: 任何情况下均不得用于生产环境
• 俄语知识库极度有限（缺乏俄语文本预训练）
• 俄语分词器未优化导致token使用效率低下
• 俄语输出质量在多数场景下难以令人满意
• 可能产生不准确、不连贯或不恰当的回答（俄语尤甚）
• 基础模型SmolLM2-135M的所有限制仍然适用