古希腊语BERT模型

首个也是唯一可用的古希腊语子词BERT模型！

在词性标注和形态分析任务上达到最先进的微调后性能。

提供标准12层、768维BERT基础模型的预训练权重。

更多关于模型使用及词性标注微调的脚本可在我们的Github仓库获取！

详见我们发表的论文：《古希腊与中世纪希腊语BERT语言建模及形态分析试点研究》，收录于第五届SIGHUM联合研讨会论文集（LaTeCH-CLfL 2021）

使用方法

环境要求：

pip install transformers
pip install unicodedata
pip install flair

可直接通过HuggingFace模型库调用：

from transformers import AutoTokenizer, AutoModel
tokeniser = AutoTokenizer.from_pretrained("pranaydeeps/Ancient-Greek-BERT")
model = AutoModel.from_pretrained("pranaydeeps/Ancient-Greek-BERT")  

词性/形态分析微调

相关代码及微调细节请参阅GitHub仓库

训练数据

模型初始权重基于AUEB NLP组的希腊语BERT，后续训练数据来自：

• First1KGreek项目
• 珀尔修斯数字图书馆
• PROIEL树库
• 戈尔曼树库

训练与评估细节

采用AUEB NLP组建议的希腊语去重音及小写化处理。模型在4块NVIDIA Tesla V100 16GB显卡上训练80轮，最大序列长度512，测试集困惑度4.8。在三大树库的词性标注和形态分析任务中微调后准确率均超90%，达到最先进水平。详情请参阅论文或联系作者。

引用

若使用本模型，请引用：

@inproceedings{ancient-greek-bert,
author = {Singh, Pranaydeep and Rutten, Gorik and Lefever, Els},
title = {A Pilot Study for BERT Language Modelling and Morphological Analysis for Ancient and Medieval Greek},
year = {2021},
booktitle = {The 5th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage, Social Sciences, Humanities and Literature (LaTeCH-CLfL 2021)}
}