AIbase

R

Ru Rope T5 Small Instruct

由 melmoth 开发
基于俄语语料库混合英语数据训练的旋转位置编码T5小模型，经过指令微调
大型语言模型
Transformers
支持多种语言
开源协议:Apache-2.0#俄英双语指令微调#旋转位置编码优化#混合去噪预训练
下载量 29
发布时间 : 5/30/2024
模型介绍
内容详情
替代品

模型简介

该模型采用旋转位置编码(RoPE)替代传统偏置，支持Flash Attention 2加速训练，主要用于俄语和英语的下游任务微调

模型特点

旋转位置编码
使用RoPE(Rotary Position Embedding)替代传统位置偏置，提升长序列处理能力
混合去噪预训练
采用UL2的混合去噪器预训练方法，增强模型鲁棒性
Flash Attention 2支持
优化后的注意力机制可加速训练过程
双语支持
同时支持俄语和英语处理

模型能力

俄语文本生成
英语文本生成
指令理解
下游任务微调

使用案例

自然语言处理
俄语文本生成
生成符合俄语语法和语义的文本内容
指令响应
理解并执行用户提供的文本指令