language:

• multilingual

bert-base-multilingual-cased-sentence

多语言BERT句子编码器（支持101种语言，区分大小写，12层，768隐藏单元，12头注意力机制，1.8亿参数）是基于多语言BERT的101种语言句子表征模型。该模型以多语言BERT为初始化基础，随后在英语MultiNLI数据集[1]和多语言XNLI开发集[2]上进行微调。其句子表征采用与Sentence-BERT[3]相同的均值池化词嵌入方法生成。

[1]: Williams A., Nangia N. & Bowman S. (2017) 《广覆盖挑战语料库：通过推理实现句子理解》，arXiv预印本 arXiv:1704.05426

[2]: Williams A., Bowman S. (2018) 《XNLI：跨语言句子表征评估》，arXiv预印本 arXiv:1809.05053

[3]: N. Reimers, I. Gurevych (2019) 《Sentence-BERT：基于孪生BERT网络的句子嵌入》，arXiv预印本 arXiv:1908.10084