language: zh

t5-small-standard-bahasa-cased

预训练的T5小型标准马来语语言模型。

预训练语料库

t5-small-standard-bahasa-cased模型在多个任务上进行了预训练。以下是我们训练的任务列表：

1. 在马来语新闻、马来语维基百科、马来语Academia.edu、马来语议会及翻译版The Pile上的语言掩码任务。
2. 马来语新闻的标题预测。
3. 在马来语新闻、马来语维基百科、马来语Academia.edu、马来语议会及翻译版The Pile上的下一句预测。
4. 翻译的问答自然任务。
5. 在翻译版SNLI和翻译版MNLI上的文本相似性任务。
6. 英马翻译。
7. 马英翻译。
8. 摘要生成。
9. 知识图谱三元组生成。
10. 复述。

准备步骤可在以下链接重现：https://github.com/huseinzol05/malaya/tree/master/pretrained-model/t5/prepare

预训练详情

• 此模型使用Google T5仓库（https://github.com/google-research/text-to-text-transfer-transformer）在v3-8 TPU上训练。
• 所有步骤可从以下链接重现：https://github.com/huseinzol05/Malaya/tree/master/pretrained-model/t5

加载预训练模型

您可以通过安装torch或tensorflow及Huggingface库transformers来使用此模型。您可以直接通过以下方式初始化模型：

from transformers import T5Tokenizer, T5Model

model = T5Model.from_pretrained('malay-huggingface/t5-small-bahasa-cased')
tokenizer = T5Tokenizer.from_pretrained('malay-huggingface/t5-small-bahasa-cased')

使用T5ForConditionalGeneration的示例

from transformers import T5Tokenizer, T5ForConditionalGeneration

tokenizer = T5Tokenizer.from_pretrained('malay-huggingface/t5-small-bahasa-cased')
model = T5ForConditionalGeneration.from_pretrained('malay-huggingface/t5-small-bahasa-cased')
input_ids = tokenizer.encode('soalan: siapakah perdana menteri malaysia?', return_tensors = 'pt')
outputs = model.generate(input_ids)
print(tokenizer.decode(outputs[0]))

输出为：

'Mahathir Mohamad'

支持的前缀

1. soalan: {string}，用于自然问答训练。
2. ringkasan: {string}，用于摘要生成。
3. tajuk: {string}，用于标题生成。
4. parafrasa: {string}，用于复述生成。
5. terjemah Inggeris ke Melayu: {string}，用于英马翻译。
6. terjemah Melayu ke Inggeris: {string}，用于马英翻译。
7. grafik pengetahuan: {string}，用于马来语文本到英语知识图谱三元组格式的转换。
8. ayat1: {string1} ayat2: {string2}，用于语义相似性。