🚀 俄罗斯语适配模型项目

本项目是对模型进行俄语适配的成果，通过更换分词器、在俄语语料库上继续预训练以及应用LEP技术，提升了俄语文本的生成速度，为俄语自然语言处理提供了新的解决方案。

🚀 快速开始

你可以在以下Space中尝试使用该模型（在下方参数中选择模型）： 点击尝试

✨ 主要特性

• 语言适配：将T-pro-it-1.0模型适配到俄语，更换了分词器并在俄语语料库上进行继续预训练。
• 生成速度提升：采用新的分词器（通过4.8万个标记的单字分词器扩展的tiktoken cl100k），俄语文本生成速度比原始T-pro-it-1.0模型提高了60%。

📚 详细文档

模型描述

当前版本为v1.0，仍在开发中。该模型是T-pro-it-1.0模型的俄语适配版本。具体步骤为：首先更换了模型的分词器，然后在俄语语料库上进行继续预训练（Continued pretraining），最后应用了LEP（Learned Embedding Propagation）技术。

由于采用了新的分词器（通过4.8万个标记的单字分词器扩展的tiktoken cl100k），与原始的T-pro-it-1.0模型相比，俄语文本的生成速度*提高了60%。

*生成速度是指在相同文本序列上每秒生成的俄语字符/单词数量。

分词示例

指标和质量评估

模型在Ru-Arena-General、MERA、llmtf_open上进行了评估。

Ru-Arena-General评估结果

使用排行榜的官方代码（点击查看）进行测量，但设置repetition_penalty=1.1。

MERA评估结果

待更新。

llmtf_open评估结果

待更新。

引用信息

• Tikhomirov M., Chernyshov D. Facilitating Large Language Model Russian Adaptation with Learned Embedding Propagation //Journal of Language and Education. – 2024. – Т. 10. – №. 4. – С. 130-145.
• Tikhomirov M., Chernyshev D. Impact of Tokenization on LLaMa Russian Adaptation //2023 Ivannikov Ispras Open Conference (ISPRAS). – IEEE, 2023. – С. 163-168.

重要提示

模型的回答并不反映作者的观点，只是重复了在所有训练阶段（预训练、更换分词器、指令训练、答案质量校准）从数据中获得的知识。该模型是从第三方预训练模型中获得的，预训练的控制并非当前作者的责任。在创建此版本的模型时，没有进行任何旨在改变大语言模型中固有“观点”的额外操作。请谨慎使用。

📄 许可证

本项目采用Apache 2.0许可证。

📦 数据集和基础模型