语言: 法语
许可证: MIT
标签:

• pytorch
• 因果语言模型
  数据集:
• c4

Cedille AI

Cedille 是一个致力于将大规模语言模型引入非英语语种的项目。

fr-boris

Boris 是一个基于 GPT-J 架构、拥有60亿参数的自回归语言模型，使用 mesh-transformer-jax 代码库训练而成。

该模型在来自 C4 数据集的约780亿法语文本标记上进行训练。训练初始权重继承自基于 The Pile 训练的GPT-J模型，因此该模型仍具备优秀的英语处理能力。Boris 直接沿用了未经修改的GPT-2分词器。

模型名称致敬法国伟大作家 Boris Vian。

如何体验Cedille？

目前最便捷的测试方式是通过我们的公开演示平台。

由于Cedille模型规模较大，生产环境运行成本较高。如需API访问权限，请联系 hello@cedille.ai。

📄 Cedille 论文

我们的研究论文已发布！https://arxiv.org/abs/2202.03371

若使用Cedille请引用我们的工作：

@misc{muller2022cedille,  
      title={Cedille: A large autoregressive French language model},   
      author={Martin M{\"{u}}ller and Florian Laurent},  
      year={2022},  
      eprint={2202.03371},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}  

联系我们

定制开发需求请致信 hello@cedille.ai。

相关链接

• 官方网站
• 博客
• GitHub
• Twitter