bert-base-romanian-uncased-v1

罗马尼亚语BERT基础、无大小写模型，基于15GB语料库训练，版本

使用方法

from transformers import AutoTokenizer, AutoModel
import torch

# 加载分词器和模型
tokenizer = AutoTokenizer.from_pretrained("dumitrescustefan/bert-base-romanian-uncased-v1", do_lower_case=True)
model = AutoModel.from_pretrained("dumitrescustefan/bert-base-romanian-uncased-v1")

# 对句子进行分词并通过模型处理
input_ids = torch.tensor(tokenizer.encode("Acesta este un test.", add_special_tokens=True)).unsqueeze(0)  # 批量大小为1
outputs = model(input_ids)

# 获取编码
last_hidden_states = outputs[0]  # 最后隐藏状态是输出元组的第一个元素

请始终对文本进行清洗！将带钩形符的s和t字母替换为带逗号形的字母：

text = text.replace("ţ", "ț").replace("ş", "ș").replace("Ţ", "Ț").replace("Ş", "Ș")

因为该模型未在带钩形符的s和t上训练。如果不这样做，由于<UNK>的出现和每单词标记数的增加，性能会下降。

评估

评估基于Universal Dependencies的罗马尼亚语RRT UPOS、XPOS和LAS，以及基于RONEC的命名实体识别任务。详细信息和更深入的测试请参见专门的评估页面。

基线模型是多语言BERT bert-base-multilingual-(un)cased，因为在撰写本文时，它是唯一可用于罗马尼亚语的BERT模型。

语料库

该模型基于以下语料库训练（下表统计为清洗后数据）：

引用

如果您在研究论文中使用此模型，请引用以下论文：

Stefan Dumitrescu, Andrei-Marius Avram, and Sampo Pyysalo. 2020. The birth of Romanian BERT. In Findings of the Association for Computational Linguistics: EMNLP 2020, pages 4324–4328, Online. Association for Computational Linguistics.

或BibTeX格式：

@inproceedings{dumitrescu-etal-2020-birth,
    title = "The birth of {R}omanian {BERT}",
    author = "Dumitrescu, Stefan  and
      Avram, Andrei-Marius  and
      Pyysalo, Sampo",
    booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2020",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2020.findings-emnlp.387",
    doi = "10.18653/v1/2020.findings-emnlp.387",
    pages = "4324--4328",
}

致谢

• 我们要感谢TurkuNLP的Sampo Pyysalo帮助我们完成了v1.0 BERT模型预训练所需的计算资源。他非常棒！