license: mit datasets:

• tashkeela language:
• ar metrics:
• accuracy pipeline_tag: text2text-generation

Fine-Tashkeel：基于字节级微调模型的阿拉伯语精确标音系统

目录

• 简介
• 模型
  • ByT5
    • 模型描述
• 性能基准
• 引用方式
• 联系方式

简介

以往关于阿拉伯语标音学习的研究大多依赖从头训练模型。本文探索如何利用预训练语言模型实现标音学习。我们通过微调无标记预训练多语言模型（ByT5），使其能够预测并补全阿拉伯文本中缺失的发音符号——这项复杂任务需要理解句子语义和词汇形态结构。研究表明，仅需少量训练且无需特征工程，即可将词错误率降低40%，达到当前最优标音性能。我们将微调后的模型开源，以促进学界研究。

模型描述

ByT5模型凭借创新的无标记架构直接处理原始文本，能灵活应对多语言及复杂语言现象。基于mc4综合文本语料库预训练后，该模型在文本理解与生成方面表现卓越，适用于多种自然语言处理任务。我们进一步在Tashkeela数据集上进行了13,000步微调，显著提升了其恢复阿拉伯语发音符号的能力。

性能基准

注意：本模型专为古典阿拉伯语训练

模型性能指标：

• 标音错误率（DER）：0.95
• 词错误率（WER）：2.49

调用示例：

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
import pandas as pd


if __name__ == "__main__":

  text = "كيف الحال"
  
  model_name = "basharalrfooh/Fine-Tashkeel" 
  
  tokenizer = AutoTokenizer.from_pretrained(model_name)
  model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
  
  input_ids = tokenizer(text, return_tensors="pt").input_ids
  outputs = model.generate(input_ids, max_new_tokens=128)
  decoded_output = tokenizer.decode(outputs[0], skip_special_tokens=True, clean_up_tokenization_spaces=False)
  print("生成结果:", decoded_output)

引用方式

@misc{alrfooh2023finetashkeel,
      title={Fine-Tashkeel：基于字节级微调模型的阿拉伯语精确标音系统}, 
      author={巴沙尔·阿尔福与盖斯·阿班达及拉米·阿尔福},
      year={2023},
      eprint={2303.14588},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

联系方式

bashar@alrfou.com