language: zh

t5-base-standard-bahasa-cased

预训练的T5基础标准马来语语言模型。

预训练语料库

t5-base-standard-bahasa-cased模型通过多任务进行预训练，具体任务如下：

1. 在马来语新闻、马来语维基百科、马来语Academia.edu、马来语议会文本及翻译版The Pile语料上执行语言掩码任务。
2. 马来语新闻标题预测任务。
3. 在马来语新闻、马来语维基百科、马来语Academia.edu、马来语议会文本及翻译版The Pile语料上执行下一句预测任务。
4. 翻译版Natural QA问答任务。
5. 基于翻译版SNLI和MNLI的文本相似度任务。
6. 英译马翻译任务。
7. 马译英翻译任务。
8. 抽象摘要生成任务。
9. 知识图谱三元组生成任务。
10. 文本复述任务。

数据准备步骤可参考：https://github.com/huseinzol05/malaya/tree/master/pretrained-model/t5/prepare

预训练细节

• 本模型使用Google T5官方代码库（https://github.com/google-research/text-to-text-transfer-transformer）在v3-8 TPU上训练完成
• 完整复现步骤参见：https://github.com/huseinzol05/Malaya/tree/master/pretrained-model/t5

支持的前缀指令

1. soalan: {字符串} - 基于Natural QA训练的问答任务
2. ringkasan: {字符串} - 生成抽象摘要
3. tajuk: {字符串} - 生成标题
4. parafrasa: {字符串} - 生成复述文本
5. terjemah Inggeris ke Melayu: {字符串} - 执行英译马翻译
6. terjemah Melayu ke Inggeris: {字符串} - 执行马译英翻译
7. grafik pengetahuan: {字符串} - 将马来语文本转换为英文知识图谱三元组格式
8. ayat1: {字符串1} ayat2: {字符串2} - 语义相似度计算