语言:

• 泰语 任务标签:

• 文本摘要 标签:

• 摘要

• pegasus_x模型 示例:

  • 文本: >- 经过数百次测试以检测安第斯山脉沿线黑碳或其他污染物的存在后，这座绵延约7000公里、平行于拉丁美洲西海岸的山脉最新环境研究显示，其积雪纯净度堪比加拿大北极地区的雪。这项研究是监测碳黑颗粒（black carbon）在冰冻圈（cryosphere）存在项目的一部分——冰冻圈指地球表面及地下存在冰雪的极寒区域，而白雪皑皑的安第斯山脉正是典型代表。研究人员发现该地区黑碳含量低于每克雪14纳克，表明雪面反照率（反射辐射与入射辐射之比）不足2%，与美国阿拉斯加及加拿大北极地区雪质相当。黑碳源自石油、柴油、木材及化石燃料燃烧，会导致雪面变暗并降低反照率，加速积雪融化。因此研究黑碳浓度对预测未来冰雪消融速率具有重要意义。 示例标题: 测试

该仓库包含专为泰语文本摘要优化的Pegasus X微调模型，其架构基于Pegasus X模型。

安装库

pip install transformers

使用示例

from transformers import PegasusXForConditionalGeneration, AutoTokenizer

model = PegasusXForConditionalGeneration.from_pretrained("satjawat/pegasus-x-thai-sum")
tokenizer = AutoTokenizer.from_pretrained("satjawat/pegasus-x-thai-sum")

new_input_string = "输入文本"
new_input_ids = tokenizer(new_input_string.lower(), return_tensors="pt").input_ids
summary_ids = model.generate(new_input_ids, max_length=50, num_beams=6, length_penalty=2.0, early_stopping=True)
summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)

print("输入:", new_input_string)
print("生成摘要:", summary)

训练超参数

训练采用以下超参数：

• 梯度累积步数: 2
• 训练轮次: 20
• 束搜索数: 6
• 学习率: 5e-5
• 优化器: 带betas=(0.9,0.999)和epsilon=1e-08的AdamW
• 激活函数: gelu
• 偏置逻辑: 启用
• 嵌入归一化: 启用
• 最终层归一化: 禁用
• 前置归一化: 禁用

评估得分

使用ThaiSum的11,000篇测试文章进行评估：

• Rouge1: 0.490279
• Rouge2: 0.289839
• RougeL: 0.489334

资源支持

感谢泰国国家科技发展署超级计算机中心（ThaiSC）及国家电子科学基础设施联盟提供的计算设备支持。

引用规范

若使用本模型，请按以下格式引用：

ปรีชานนท์ ชาติไทย และ สัจจวัจน์ ส่งเสริม. (2567),
การสรุปข้อความข่าวภาษาไทยด้วยโครงข่ายประสาทเทียม (Thai News Text Summarization Using Neural Network),
วิทยาศาสตรบัณฑิต (วทบ.):ขอนแก่น, มหาวิทยาลัยขอนแก่น