语言:

• ar 库名: transformers 许可证: mit 评估指标:
• bertscore 管道标签: 翻译

法西赫

专为翻译至纯正古典阿拉伯语فصيح设计的语言模型，因当前主流翻译多为现代混合阿拉伯语（العَرَنْجِيَّة）

何为现代混合阿拉伯语？

一种表面为阿拉伯语，内核实为欧洲语言混杂的语体。其例繁多，诸如：用"نمط حياة"（生活方式）替代"معيشة"（生计），"أرضية مشتركة"（共同基础）替代"كلمة سواء"（平等之言），"سلام داخلي"（内心平静）替代"طمأنينة"或"سكينة"（安宁），以及用"سلبيات وإيجابيات"（优缺点）替代"محاسن الشيء ومساويه"（事物利弊）或"فضائله ورذائله"（优劣之处）。

法西赫

专为翻译至纯正古典阿拉伯语设计的机器翻译模型(MTM)

快速开始

使用以下代码快速启用模型：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, GenerationConfig

model_name = "Abdulmohsena/Faseeh"

tokenizer = AutoTokenizer.from_pretrained(model_name, src_lang="eng_Latn", tgt_lang="arb_Arab")
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)


dummy = "And the Saudi Arabian Foreign Minister assured the visitors of the importance to seek the security."

encoded_ar = tokenizer(dummy, return_tensors="pt")
generated_tokens = model.generate(**encoded_ar, generation_config=generation_config)

tokenizer.decode(generated_tokens[0], skip_special_tokens=True)

模型详情

• 基于facebook的NLLB-200蒸馏版（6亿参数）微调

模型来源

• 代码库: https://github.com/AbdulmohsenA/Faseeh

偏差、风险与局限

• 古兰经之外的语言对大多依赖谷歌翻译生成，因此翻译质量取决于谷歌从古典阿拉伯语到英语的转换水平
• 本模型采用bertscore/e5score评估指标，虽在语义对齐上远非完美，但已是当前语义翻译的最佳可用指标
• 现有阿拉伯语翻译评估指标均基于现代标准阿拉伯语训练，与模型目标存在本质偏差

改进方向

• 更优方案是使用GPT-4o生成古典阿拉伯语语料（截至本文撰写时，这是唯一能理解复杂阿语句式的模型）
• 需开发针对本模型目标的评估体系。当前仅构建了古典阿语二分类器作为0-1评分，但该指标既不充分也不灵活

训练数据

• HuggingFace数据集之外的阿拉伯语文本爬取自Shamela电子图书馆

评估指标

• COMET: 侧重语义表征而非逐字对应（语义翻译优先于句法翻译）
• 流畅度评分: 自建指标，用于判断句子是否符合古典阿拉伯语特征