🚀 俄语适配版Qwen2.5-32B模型

本项目是将Qwen2.5-32B模型适配为俄语的指令型版本。通过更换分词器、在俄语语料库上继续预训练以及应用LEP技术，显著提升了俄语文本的生成速度。

🚀 快速开始

你可以在以下Space中体验该模型： 点击体验

✨ 主要特性

• 指令型适配：将Qwen2.5-32B模型适配为俄语指令型版本。
• 分词器更换：使用扩展的tiktoken cl100k分词器（通过48k的unigram分词器扩展），使俄语文本生成速度比原始的Qwen-2.5-32B-Instruct模型提高了60%。
• 技术应用：应用了LEP（Learned Embedding Propagation）技术。

📦 数据集

• IlyaGusev/saiga_scored
• IlyaGusev/saiga_preferences
• dichspace/darulm

📚 详细文档

模型描述

当前版本为v1，仍在开发中。这是一个适配俄语的指令型Qwen2.5-32B模型。具体步骤为：先更换分词器，然后在俄语语料库上进行继续预训练（Continued pretraining），最后应用LEP技术（相关论文即将发布）。

由于采用了新的分词器（扩展的tiktoken cl100k，通过48k的unigram分词器扩展），俄语文本的生成速度*相比原始的Qwen-2.5-32B-Instruct模型提高了60%。

*生成速度指在相同文本序列上每秒生成的俄语字符/单词数量。

分词可视化

指标和质量评估

模型在Ru-Arena-General、MERA、llmtf_open上进行了评估。

Ru-Arena-General评估结果

使用排行榜的官方代码（代码链接）进行测量，但设置repetition_penalty=1.1。

MERA评估结果

为了在MERA上提交结果，准备了一个自定义的系统提示，以减轻代码任务评估中的不足。为了进行比较，还使用相同的系统提示提交了原始模型的结果。

llmtf_open评估结果

待更新。

引用方式

• Tikhomirov M., Chernyshev D. Facilitating large language model Russian adaptation with Learned Embedding Propagation // 2024 (Preprint: 预印本链接)
• Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168.

⚠️ 重要提示

模型的回答并不反映作者的观点，只是重复了在所有训练阶段（预训练、更换分词器、指令训练、答案质量校准）从数据中获得的知识。该模型是从第三方预训练模型中获得的，预训练的控制权 不属于当前作者。在创建此版本的模型时，没有进行任何旨在改变大语言模型中固有“观点”的额外操作。请谨慎使用。

📄 许可证

本项目采用Apache 2.0许可证。