许可证：apache-2.0
语言：

• 阿拉伯语
  标签：
• 摘要生成
• AraBERT
• BERT
• BERT2BERT
• 现代标准阿拉伯语
• 阿拉伯文本摘要
• 阿拉伯新闻标题生成
• 阿拉伯语改写
• 摘要生成
• 训练生成
• Transformers
• PyTorch

示例输入：

• 文本：
  "昨晚周三，的黎波里市连续第三天爆发民众抗议和骚乱，原因是生活和经济状况恶化。黎巴嫩军队与抗议者之间爆发了激烈冲突和持续数小时的拉锯战，起因是试图重新开通被封锁的道路，导致双方数十人受伤。"

数据集：

• xlsum

模型索引：

• 名称：arabartsummarization
  结果：[]

arabartsummarization

模型描述

该模型可按以下方式使用：

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, pipeline  
from arabert.preprocess import ArabertPreprocessor  

model_name="abdalrahmanshahrour/arabartsummarization"  
preprocessor = ArabertPreprocessor(model_name="")  

tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)  
pipeline = pipeline("text2text-generation",model=model,tokenizer=tokenizer)  

text = "昨晚周三，的黎波里市连续第三天爆发民众抗议和骚乱，原因是生活和经济状况恶化。黎巴嫩军队与抗议者之间爆发了激烈冲突和持续数小时的拉锯战，起因是试图重新开通被封锁的道路，导致双方数十人受伤。"  
text = preprocessor.preprocess(text)  

result = pipeline(text,  
            pad_token_id=tokenizer.eos_token_id,  
            num_beams=3,  
            repetition_penalty=3.0,  
            max_length=200,  
            length_penalty=1.0,  
            no_repeat_ngram_size = 3)[0]['generated_text']  
result  
>>> "黎巴嫩军队与抗议者在北部城市的黎波里再次发生冲突。"  

验证指标

• 损失值：2.3394
• Rouge1：1.142
• Rouge2：0.227
• RougeL：1.124
• RougeLsum：1.234

预期用途与限制

需补充更多信息

训练与评估数据

总计42.21K行

• 训练集：37.52K行
• 评估集：4.69K行

训练流程

训练超参数

训练期间使用的超参数如下：

• 学习率：5e-05
• 训练批次大小：4
• 评估批次大小：4
• 随机种子：42
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 训练轮次：3

训练结果

框架版本

• Transformers 4.25.1
• PyTorch 1.13.0+cu116
• Datasets 2.7.1
• Tokenizers 0.13.2