🚀 distilbert-base-25lang-cased

本项目分享了 distilbert-base-multilingual-cased 的更小版本，这些版本可处理自定义数量的语言。我们的版本所生成的表示与原始模型完全相同，从而保留了原始的准确性。

支持的语言包括：英语（en）、法语（fr）、西班牙语（es）、德语（de）、中文（zh）、阿拉伯语（ar）、俄语（ru）、越南语（vi）、希腊语（el）、保加利亚语（bg）、泰语（th）、土耳其语（tr）、印地语（hi）、乌尔都语（ur）、斯瓦希里语（sw）、荷兰语（nl）、乌克兰语（uk）、罗马尼亚语（ro）、葡萄牙语（pt）、意大利语（it）、立陶宛语（lt）、挪威语（no）、波兰语（pl）、丹麦语（da）和日语（ja）。

更多信息请访问我们的论文：Load What You Need: Smaller Versions of Multilingual BERT。

🚀 快速开始

模型支持语言

小部件示例

• "Google generated 46 billion [MASK] in revenue."
• "Paris is the capital of [MASK]."
• "Algiers is the largest city in [MASK]."
• "Paris est la [MASK] de la France."
• "Paris est la capitale de la [MASK]."
• "L'élection américaine a eu [MASK] en novembre 2020."
• "تقع سويسرا في [MASK] أوروبا"
• "إسمي محمد وأسكن في [MASK]."

💻 使用示例

基础用法

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("Geotrend/distilbert-base-25lang-cased")
model = AutoModel.from_pretrained("Geotrend/distilbert-base-25lang-cased")

更多拓展

若要生成多语言变换器的其他更小版本，请访问 我们的Github仓库。

📚 详细文档

如何引用

@inproceedings{smallermbert,
  title={Load What You Need: Smaller Versions of Multilingual BERT},
  author={Abdaoui, Amine and Pradel, Camille and Sigel, Grégoire},
  booktitle={SustaiNLP / EMNLP},
  year={2020}
}

📄 许可证

本项目使用的许可证为 apache - 2.0。

📞 联系我们

如有任何问题、反馈或请求，请联系 amine@geotrend.fr。