标签:

• 摘要生成
• bart模型 语言:
• 希腊语 许可证: MIT 流水线标签: 填充掩码 库名称: transformers

GreekBART：首个预训练的希腊语序列到序列模型

简介

GreekBART是基于BART的希腊语序列到序列预训练模型。该模型通过重构被破坏的输入句子进行预训练，使用了76.9GB的希腊语原始文本语料库。与现有的基于BERT的希腊语模型（GreekBERT）不同，GreekBART特别适合生成任务（如抽象摘要），因为其编码器和解码器都经过预训练。除了基础版GreekBART从头开始进行重构预训练外，我们还针对三个任务进行了微调：greekbart-news24-abstract可根据希腊新闻文章生成摘要，greekbart-news24-title可生成新闻标题，以及greekbart-sentiment-classification用于二元情感分类任务。

论文: https://arxiv.org/pdf/2304.00869
GitHub: https://github.com/iakovosevdaimon/GreekBART

使用方式

掩码预测

from transformers import pipeline 

greekbart_fill_mask  = pipeline("fill-mask", model="dascim/greekbart", tokenizer="dascim/greekbart")
results = greekbart_fill_mask("希腊的首都是<mask>")

results[0]
# {'score': 0.597200870513916, 'token': 7062, 'token_str': '雅典', 'sequence': '希腊的首都是雅典'}, 

摘要生成

text_sentence = '在卡拉曼达尼欧医院护士帕纳约蒂斯·岑杜鲁的证词中，她描述了2021年4月8日乔治娜入院时的情况，当时她正在工作。该证词是在审理鲁拉·皮斯皮林古案件的法庭上进行的。护士表示，孩子入院时"他们告诉我这是一个失去了兄弟姐妹的孩子，情况特殊"，并详细叙述了入院当天及次日她在儿科病房值班时的事件。'

from transformers import (
    AutoTokenizer,
    AutoModelForSeq2SeqLM
)

tokenizer = AutoTokenizer.from_pretrained("dascim/greekbart-news24-abstract")
model = AutoModelForSeq2SeqLM.from_pretrained("dascim/greekbart-news24-abstract")

input_ids = tokenizer.encode(text_sentence, add_special_tokens=True, return_tensors='pt')

model.eval()
predict = model.generate(input_ids, max_length=100)[0]


tokenizer.decode(predict, skip_special_tokens=True)
#'护士证实在孩子入院时"他们告诉我这是一个失去了兄弟姐妹的孩子，情况特殊"。'

标题生成

text_sentence = '在卡拉曼达尼欧医院护士帕纳约蒂斯·岑杜鲁的证词中，她描述了2021年4月8日乔治娜入院时的情况，当时她正在工作。该证词是在审理鲁拉·皮斯皮林古案件的法庭上进行的。护士表示，孩子入院时"他们告诉我这是一个失去了兄弟姐妹的孩子，情况特殊"，并详细叙述了入院当天及次日她在儿科病房值班时的事件。'

from transformers import (
    AutoTokenizer,
    AutoModelForSeq2SeqLM
)

tokenizer = AutoTokenizer.from_pretrained("dascim/greekbart-news24-title")
model = AutoModelForSeq2SeqLM.from_pretrained("dascim/greekbart-news24-title")

input_ids = tokenizer.encode(text_sentence, add_special_tokens=True, return_tensors='pt')

model.eval()
predict = model.generate(input_ids, max_length=100)[0]


tokenizer.decode(predict, skip_special_tokens=True)
# '帕特雷：护士就乔治娜入院作证'

情感预测

text_sentence = "希腊文明是最丰富且广受认可的文明之一。"

from transformers import (
    AutoTokenizer,
    AutoModelForSequenceClassification
)

tokenizer = AutoTokenizer.from_pretrained("dascim/greekbart-sentiment-classification")
model = AutoModelForSequenceClassification.from_pretrained("dascim/greekbart-sentiment-classification")

input_ids = tokenizer.encode(text_sentence, add_special_tokens=True, return_tensors='pt')

model.eval()
predict = model(input_ids)[0]

print("负面" if predict.argmax(dim=-1).item()==1 else "正面") 
# 正面

作者

GreekBART由Iakovos Evdaimon、Hadi Abdine、Christos Xypolopoulos、Stamatis Outsios、Michalis Vazirgiannis和Giorgos Stamou在巴黎综合理工学院训练和评估。

引用

如使用本工作，请引用：

@inproceedings{evdaimon-etal-2024-greekbart,
    title = "{G}reek{BART}: 首个预训练的希腊语序列到序列模型",
    author = "Evdaimon, Iakovos  and
      Abdine, Hadi  and
      Xypolopoulos, Christos  and
      Outsios, Stamatis  and
      Vazirgiannis, Michalis  and
      Stamou, Giorgos",
    editor = "Calzolari, Nicoletta  and
      Kan, Min-Yen  and
      Hoste, Veronique  and
      Lenci, Alessandro  and
      Sakti, Sakriani  and
      Xue, Nianwen",
    booktitle = "2024年计算语言学、语言资源与评估联合国际会议论文集",
    month = 5,
    year = "2024",
    address = "意大利都灵",
    publisher = "ELRA与ICCL",
    url = "https://aclanthology.org/2024.lrec-main.700",
    pages = "7949--7962",
}