language: el pipeline_tag: fill-mask thumbnail: https://github.com/nlpaueb/GreekBERT/raw/master/greek-bert-logo.png widget:

• text: "Σήμερα είναι μια [MASK] μέρα."

希腊语BERT

一个希腊语版本的BERT预训练语言模型。

预训练语料库

bert-base-greek-uncased-v1的预训练语料包括：

• 维基百科的希腊语部分，
• 欧洲议会会议平行语料库的希腊语部分，以及
• OSCAR的希腊语部分，这是Common Crawl的一个净化版本。

未来版本还将包括：

• 由国家出版局发布的希腊立法全文语料库，
• 由Eur-Lex发布的欧盟立法（希腊语翻译）全文语料库。

预训练细节

• 我们使用Google BERT的GitHub仓库（https://github.com/google-research/bert）提供的官方代码训练BERT。* 然后使用Hugging Face的Transformers转换脚本将TF检查点和词汇表转换为所需格式，以便能够用两行代码为PyTorch和TF2用户加载模型。
• 我们发布了一个类似于英语bert-base-uncased的模型（12层，768隐藏层，12头，1.1亿参数）。
• 我们选择了相同的训练设置：100万训练步，每批256个长度为512的序列，初始学习率为1e-4。
• 我们能够使用TensorFlow Research Cloud (TFRC)免费提供的单个Google Cloud TPU v3-8，同时利用GCP研究积分。非常感谢这两个Google项目对我们的支持！

* 您仍然可以从这个Google Drive文件夹访问原始的TensorFlow检查点。

要求

我们发布了bert-base-greek-uncased-v1作为Hugging Face的Transformers仓库的一部分。因此，您需要通过pip安装transformers库以及PyTorch或Tensorflow 2。

pip install transformers
pip install (torch|tensorflow)

文本预处理（去重音 - 小写）

注意： 预处理现在由默认的分词器原生支持。无需包含以下代码。

为了使用bert-base-greek-uncased-v1，您需要将文本预处理为小写字母并移除所有希腊语重音符号。

import unicodedata

def strip_accents_and_lowercase(s):
   return ''.join(c for c in unicodedata.normalize('NFD', s)
                  if unicodedata.category(c) != 'Mn').lower()

accented_string = "Αυτή είναι η Ελληνική έκδοση του BERT."
unaccented_string = strip_accents_and_lowercase(accented_string)

print(unaccented_string) # αυτη ειναι η ελληνικη εκδοση του bert.

加载预训练模型

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("nlpaueb/bert-base-greek-uncased-v1")
model = AutoModel.from_pretrained("nlpaueb/bert-base-greek-uncased-v1")

使用预训练模型作为语言模型

import torch
from transformers import *

# 加载模型和分词器
tokenizer_greek = AutoTokenizer.from_pretrained('nlpaueb/bert-base-greek-uncased-v1')
lm_model_greek = AutoModelWithLMHead.from_pretrained('nlpaueb/bert-base-greek-uncased-v1')

# ================ 示例1 ================
text_1 = 'O ποιητής έγραψε ένα [MASK] .'
# 中文：'诗人写了一首[MASK]。'
input_ids = tokenizer_greek.encode(text_1)
print(tokenizer_greek.convert_ids_to_tokens(input_ids))
# ['[CLS]', 'o', 'ποιητης', 'εγραψε', 'ενα', '[MASK]', '.', '[SEP]']
outputs = lm_model_greek(torch.tensor([input_ids]))[0]
print(tokenizer_greek.convert_ids_to_tokens(outputs[0, 5].max(0)[1].item()))
# 对[MASK]最合理的预测是“song”

# ================ 示例2 ================
text_2 = 'Είναι ένας [MASK] άνθρωπος.'
# 中文：'他是一个[MASK]的人。'
input_ids = tokenizer_greek.encode(text_2)
print(tokenizer_greek.convert_ids_to_tokens(input_ids))
# ['[CLS]', 'ειναι', 'ενας', '[MASK]', 'ανθρωπος', '.', '[SEP]']
outputs = lm_model_greek(torch.tensor([input_ids]))[0]
print(tokenizer_greek.convert_ids_to_tokens(outputs[0, 3].max(0)[1].item()))
# 对[MASK]最合理的预测是“good”

# ================ 示例3 ================
text_3 = 'Είναι ένας [MASK] άνθρωπος και κάνει συχνά [MASK].'
# 中文：'他是一个[MASK]的人，经常做[MASK]。'
input_ids = tokenizer_greek.encode(text_3)
print(tokenizer_greek.convert_ids_to_tokens(input_ids))
# ['[CLS]', 'ειναι', 'ενας', '[MASK]', 'ανθρωπος', 'και', 'κανει', 'συχνα', '[MASK]', '.', '[SEP]']
outputs = lm_model_greek(torch.tensor([input_ids]))[0]
print(tokenizer_greek.convert_ids_to_tokens(outputs[0, 8].max(0)[1].item()))
# 对第二个[MASK]最合理的预测是“trips”

下游任务评估

详细结果请阅读文章：

GREEK-BERT: The Greeks visiting Sesame Street. John Koutsikakis, Ilias Chalkidis, Prodromos Malakasiotis and Ion Androutsopoulos. 在《第11届希腊人工智能会议论文集》（SETN 2020）中。在线举行。2020年。(https://arxiv.org/abs/2008.12014)

使用希腊NER数据集进行命名实体识别

使用XNLI进行自然语言推理