license: apache-2.0 language:

• 俄语
• 英语 pipeline_tag: text-generation tags:
• 自然语言处理
• 对话系统 base_model:
• Qwen/Qwen2.5-1.5B-Instruct library_name: transformers

Meno-Tiny-0.1 微型智能模型

Meno-Tiny-0.1 是基于 Qwen2.5-1.5B-Instruct 微调而来的俄语指令优化模型。这个拥有15亿参数的解码器语言模型采用Transformer架构，融合了SwiGLU激活函数、注意力QKV偏置、分组查询注意力等先进技术。其命名"Meno"源自苏格拉底对话《美诺篇》中"知识即回忆"的理论，象征该模型在RAG（检索增强生成）流程中回答文本问题的能力。

环境要求

请使用最新版Hugging Face transformers库运行本模型。若版本低于4.37.0，将出现以下报错：

KeyError: 'qwen2'

快速开始

以下代码示例展示如何使用apply_chat_template加载模型并生成内容。该模型在微调阶段进行了俄语优化，同时保留英语应答能力：

1. 英语交互示例

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "bond005/meno-tiny-0.1"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "请简要介绍大语言模型"
messages = [
    {"role": "system", "content": "你是由Ivan Bondarenko创建的Meno助手"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(**model_inputs)
response = tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokens=True)
print(response)

2. 俄语交互示例

prompt = "Кратко опиши большие языковые модели"
messages = [
    {"role": "system", "content": "Ты - ассистент Менон, созданный Иваном Бондаренко"},
    {"role": "user", "content": prompt}
]
# 后续代码与英语示例相同

核心能力

通过调整系统提示词，Meno-Tiny-0.1可实现以下功能（支持小样本学习）：

• 文本问答
• 内容摘要
• 毒性检测与文本净化
• 指代消解
• 语音识别纠错
• 其他NLP任务

1. 文档问答

prompt = "回答文本相关问题\n\n问题: 企鹅栖息在哪里?\n\n文本: 现今企鹅在亚南极岛屿多样性最高..."

2. 文本摘要

system_prompt = "请概括以下文本"
prompt = "20日举行的全民听写活动中，开放系统'文书员'公布了结果..."

3. 对话指代消解（小样本示例）

few_shots = [
    {"user": "什么是数理力学系?", "assistant": "数理力学系是...", "user": "有硕士项目吗?"},
    {"assistant": "数理力学系有硕士项目吗?"}
]
user_prompt = "User: 现任新西伯利亚国立大学校长是谁?\nAssistant: 是Mikhail Fedoruk院士\nUser: 他的研究方向是什么?"

4. 语音识别纠错（小样本示例）

system_prompt = "请修正以下语音识别文本的拼写和标点"
user_prompt = "то есть мы в каждый момент времени знаем про звук еще..."
few_shots = [
    {"user": "вы выборском районе...", "assistant": "В Выборгском районе..."}
]

性能基准

在俄语评估基准MERA上的表现：

多跳问答任务(MultiQ)表现尤为突出，在RAG应用中至关重要：

应用场景

主要用途

1. 内存/算力受限环境
2. 低延迟场景
3. RAG管道构建组件

注意事项

开发者需评估以下风险：

• 多语言服务质量差异
• 安全漏洞与偏见
• 不当内容生成
• 信息可靠性
• 长对话一致性

建议在高风险场景（法律、医疗等）实施额外保障措施，采用检索增强生成(RAG)技术确保回答准确性。

引用格式

@misc{bondarenko2024meno,
  title={Meno-Tiny: 面向俄语问答任务的小型语言模型},
  author={Bondarenko, Ivan},
  year={2024},
  howpublished={\url{https://huggingface.co/bond005/meno-tiny-0.1}}
}