语言: 中文

标签:

• 特立尼达和多巴哥英语解析器
• 文本到文本生成
• 加勒比地区

许可证: CC-BY-NC-SA 4.0

数据集:

• 自定义数据集
• 克里奥尔化JFLEG数据集

特立尼达英语克里奥尔语解析器

该模型作为特立尼达英语克里奥尔语解析器进行训练。

模型说明

本模型基于T5-base预训练模型，通过结合自定义数据集与克里奥尔化处理的JFLEG数据集进行微调。JFLEG数据集采用Caribe库的文件编码功能实现克里奥尔化处理。了解更多加勒比克里奥尔语相关资源，请访问Caribe库。

Transformers使用示例

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

tokenizer = AutoTokenizer.from_pretrained("KES/T5-TTParser")
model = AutoModelForSeq2SeqLM.from_pretrained("KES/T5-TTParser")

txt = "Ah have live with mi paremnts en London"
inputs = tokenizer("grammar:"+txt, truncation=True, return_tensors='pt')

output = model.generate(inputs['input_ids'], num_beams=4, max_length=512, early_stopping=True)
correction=tokenizer.batch_decode(output, skip_special_tokens=True)
print("".join(correction)) #输出修正结果: Ah live with meh parents in London.