语言: 法语
许可证: MIT
数据集:

• flaubert
  评估指标:
• flue
  标签:
• bert
• 语言模型
• flaubert
• flue
• 法语
• bert-large
• flaubert-large
• 区分大小写

FlauBERT：面向法语的无监督语言模型预训练

FlauBERT 是一个基于大规模异构法语语料库训练的法语BERT模型。不同规模的模型均在法国国家科学研究中心（CNRS）的新型超级计算机Jean Zay上完成训练。

与FlauBERT一同发布的还有FLUE——一个类似于知名GLUE基准的法语NLP系统评估框架，旨在推动未来法语语言研究的可复现实验，并促进模型与进展的共享。更多细节请参阅官方网站。

FlauBERT模型

注意： flaubert-small-cased 为部分训练版本，性能无法保证，建议仅用于调试目的。

通过Hugging Face的Transformers使用FlauBERT

import torch  
from transformers import FlaubertModel, FlaubertTokenizer  

# 可选模型：['flaubert/flaubert_small_cased', 'flaubert/flaubert_base_uncased',   
#           'flaubert/flaubert_base_cased', 'flaubert/flaubert_large_cased']  
modelname = 'flaubert/flaubert_base_cased'   

# 加载预训练模型和分词器  
flaubert, log = FlaubertModel.from_pretrained(modelname, output_loading_info=True)  
flaubert_tokenizer = FlaubertTokenizer.from_pretrained(modelname, do_lowercase=False)  
# 使用区分大小写模型时设为False，不区分大小写模型设为True  

sentence = "Le chat mange une pomme."  
token_ids = torch.tensor([flaubert_tokenizer.encode(sentence)])  

last_layer = flaubert(token_ids)[0]  
print(last_layer.shape)  
# 输出：torch.Size([1, 8, 768]) -> (批大小 × 词元数量 × 嵌入维度)  

# BERT的[CLS]标记对应最后一层的第一个隐藏状态  
cls_embedding = last_layer[:, 0, :]  

注意事项： 若您的transformers版本≤2.10.0，modelname需从以下值中选择：

['flaubert-small-cased', 'flaubert-base-uncased', 'flaubert-base-cased', 'flaubert-large-cased']  

参考文献

若您在科研出版物中使用FlauBERT或FLUE基准，或认为本仓库资源有帮助，请引用以下论文之一：

LREC论文

@InProceedings{le2020flaubert,  
  author    = {Le, Hang 和 Vial, Lo\"{i}c 和 Frej, Jibril 和 Segonne, Vincent 和 Coavoux, Maximin 和 Lecouteux, Benjamin 和 Allauzen, Alexandre 和 Crabb\'{e}, Beno\^{i}t 和 Besacier, Laurent 和 Schwab, Didier},  
  title     = {FlauBERT: Unsupervised Language Model Pre-training for French},  
  booktitle = {Proceedings of The 12th Language Resources and Evaluation Conference},  
  month     = {May},  
  year      = {2020},  
  address   = {Marseille, France},  
  publisher = {European Language Resources Association},  
  pages     = {2479--2490},  
  url       = {https://www.aclweb.org/anthology/2020.lrec-1.302}  
}  

TALN论文

@inproceedings{le2020flaubert,  
  title         = {FlauBERT: des mod{\`e}les de langue contextualis{\'e}s pr{\'e}-entra{\^\i}n{\'e}s pour le fran{\c{c}}ais},  
  author        = {Le, Hang and Vial, Lo{\"\i}c and Frej, Jibril and Segonne, Vincent and Coavoux, Maximin and Lecouteux, Benjamin and Allauzen, Alexandre and Crabb{\'e}, Beno{\^\i}t and Besacier, Laurent and Schwab, Didier},  
  booktitle     = {Actes de la 6e conf{\'e}rence conjointe Journ{\'e}es d'{\'E}tudes sur la Parole (JEP, 31e {\'e}dition), Traitement Automatique des Langues Naturelles (TALN, 27e {\'e}dition), Rencontre des {\'E}tudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (R{\'E}CITAL, 22e {\'e}dition). Volume 2: Traitement Automatique des Langues Naturelles},  
  pages         = {268--278},  
  year          = {2020},  
  organization  = {ATALA}  
}