语言: 捷克语

许可证: CC-BY-NC-SA-4.0 数据集:

• csTenTen17

CzeGPT-2_summarizer

CzeGPT-2摘要生成器是基于CzeGPT-2模型构建的捷克语摘要生成器。该模型具有与GPT-2小型相同的架构维度（12层，12个头，输入/输出1024个标记，嵌入向量维度为768），共有124M可训练参数。它在包含约100万捷克新闻文章的SumeCzech摘要数据集上进行了微调和评估。 该模型被训练为可以生成任意长度的摘要（直到达到序列长度限制）。这为开发者提供了设置自己约束的空间。

分词器

我们还提供了一个在预训练和微调阶段使用的捷克语分词器（词汇表和合并表），词汇量为50257。这是原始GPT-2论文中使用的字节级BPE分词器。

训练结果

该模型在SumeCzech数据集的test和ood-test分区上进行了评估，并与该基准测试中表现最佳的摘要生成器进行了比较（结果取自此处）。 摘要生成器生成三个句子，大致对应于SumeCzech中摘要的平均长度40个标记。这一摘要长度也在验证集上得到了确认。

我们在大多数标准指标上达到了最先进的水平。

测试集

OOD测试集

表格中的数字表示精确率/召回率/F1分数

错误分析

尽管我们认为当前的ROUGE_RAW标准指标并不完全适合摘要任务（尽管它是目前最好的），我们还是通过人工标注者对生成的摘要进行了手动错误分析。您可以在本文末尾引用的论文中找到更多关于方法和结果的信息。

运行预测

该仓库包含一个简单的Jupyter Notebook，可以帮助您在使用模型时迈出第一步。

标题生成器

另请参阅我们为标题生成任务微调的模型。

如何引用

@article{hajek_horak2024, author = "Adam Hájek and Aleš Horák", title = "CzeGPT-2 -- Training New Model for Czech Generative Text Processing Evaluated with the Summarization Task", journal= "IEEE Access", year = "2024", volume = "12", pages = "34570--34581", doi = "10.1109/ACCESS.2024.3371689", }