library_name: transformers tags:

• 文本摘要
• 阿拉伯语
• t5模型
• xlsum数据集

AraT5-阿拉伯语文本摘要-XLSum版

该模型是基于UBC-NLP/AraT5v2-base-1024微调的阿拉伯语文本摘要专用版本，使用XLSum数据集训练而成。能够为阿拉伯语新闻及长文本生成流畅简洁的摘要。

模型来源

• 论文: AraT5：面向阿拉伯语理解与生成的文本转换模型
• 数据集: XLSum

快速使用指南

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM

# 定义文本长度常量
文本最大标记长度 = 512
摘要最大标记长度 = 192

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("omarsabri8756/AraT5v2-XLSum-arabic-text-summarization")
model = AutoModelForSeq2SeqLM.from_pretrained("omarsabri8756/AraT5v2-XLSum-arabic-text-summarization")

def 生成摘要(测试样本, 模型):
    inputs = tokenizer(
        测试样本,
        padding="max_length",
        truncation=True,
        max_length=文本最大标记长度,
        return_tensors="pt",
    )
    input_ids = inputs.input_ids.to(模型.device)
    attention_mask = inputs.attention_mask.to(模型.device)
    outputs = 模型.generate(
        input_ids, 
        attention_mask=attention_mask,
        max_length=摘要最大标记长度,
        min_length=10,   # 确保最低内容量
        num_beams=3,
        repetition_penalty=3.0,
        length_penalty=2.0,
        no_repeat_ngram_size = 3
    )
    output_str = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]
    return output_str

# 使用示例
阿拉伯文本 = "黎巴嫩首都的黎波里周三晚间连续第三天爆发民众抗议和骚乱，起因是生活经济条件恶化。在军方尝试清除路障时，黎巴嫩军队与抗议者爆发持续数小时的激烈冲突，造成双方数十人受伤。"
摘要 = 生成摘要(阿拉伯文本, model)
print(摘要) # 输出：黎巴嫩的黎波里市周三晚间连续第三天爆发民众抗议活动，起因是生活条件持续恶化。

训练超参数

• 训练模式: 混合精度fp16
• 优化器: AdamW
• 学习率: 5e-5（余弦调度）
• 单设备训练批次大小: 4
• 单设备验证批次大小: 4
• 训练轮次: 5
• 权重衰减: 0.01

评估结果