标签: 语言:

• 古希腊语 模型索引:
• 名称: aristoBERTo 结果: [] 小部件示例:
• 文本: "Πλάτων ὁ Περικτιόνης [MASK] γένος ἀνέφερεν εἰς Σόλωνα."
• 文本: "ὁ Κριτίας ἀπέβλεψε [MASK] τὴν θύραν."
• 文本: "πρῶτοι δὲ καὶ οὐνόματα ἱρὰ ἔγνωσαν καὶ [MASK] ἱροὺς ἔλεξαν."

aristoBERTo

aristoBERTo是一个面向低资源语言古希腊语的Transformer模型。我们采用GreekBERT的权重进行预训练初始化——该希腊语BERT模型基于约30GB现代希腊语文本训练而成。随后我们使用约900MB的古希腊语料库继续预训练，这些语料经网络爬取和后处理，已去除重复文本及编辑标点符号。

在古希腊语处理任务中，aristoBERTo在词性标注(POS)、形态分析(MORPH)、依存关系标注(DEP)和词元还原(LEMMA)等下游任务上表现优于xlm-roberta-base和mdeberta模型。

本模型由加州大学圣地亚哥分校的Diogenet项目提供。

预期用途

该模型专为与spaCy框架及古希腊通用依存数据集配合微调而设计，也可用于Diogenet项目构建的命名实体识别(NER)语料库。作为填空模型，AristoBERTo还能应用于希腊语纸草、碑文和手稿的破损文本修复。

评估集表现:

• 损失值: 1.6323

训练流程

训练超参数

训练采用以下超参数配置:

• 学习率: 5e-05
• 训练批大小: 16
• 评估批大小: 16
• 随机种子: 42
• 优化器: Adam (β1=0.9, β2=0.999, ε=1e-08)
• 学习率调度器类型: 线性
• 训练轮次: 20.0
• 混合精度训练: 原生AMP

训练结果

框架版本

• Transformers 4.14.0.dev0
• Pytorch 1.10.0+cu102
• Datasets 1.16.1
• Tokenizers 0.10.3