🚀 PAGnol：超大型法语生成模型

PAGnol是一组大型法语语言模型，专注于自由格式文本生成。它拥有15亿个参数，基于GPT架构构建。该模型由LightOn与Inria的ALMAnaCH团队合作训练，是LightOn训练的首个语言模型。

🚀 快速开始

PAGnol模型于2021年初按照当时的缩放定律进行训练，并使用了与在CCNet上训练的CamemBERT模型完全相同的训练数据。我们提供该模型是为了便于研究的可重复性，它并非当前的最优模型，也并非旨在成为最优模型。

论文链接：ARXIV，ACL ANTHOLOGY

代码链接：GITHUB

✨ 主要特性

• 大规模参数：拥有15亿个参数，具备强大的文本生成能力。
• 法语专用：专门针对法语进行训练，适合法语自由格式文本生成任务。
• 基于GPT架构：采用成熟的GPT架构，保证了模型的性能和稳定性。

💻 使用示例

基础用法

from transformers import pipeline

generator = pipeline('text-generation', model='lightonai/pagnol-xl', trust_remote_code=True)

output = generator(
    "Salut PAGnol, comment ça va ?",
    max_length=50,
    do_sample=True,
    temperature=0.7,
)[0]["generated_text"]

>>> "Très bien! Les jours d’été sont là ! Bientôt les premiers festivals..."

📚 详细文档

可用模型

模型构建团队

PAGnol由Julien Launay、E.L. Tommasone、Baptiste Pannier、François Boniface、Amélie Chatelain、Iacopo Poli和Djamé Seddah构建。它以Marcel Pagnol命名（PAG代表pré-apprentissage génératif），并在IDRIS Jean Zay超级计算机上进行训练，这得益于GENCI的资源分配。

模型转换

该模型由Wissam Antoun（ALMAnaCH的博士生，由Benoît Sagot和Djamé Seddah共同指导）转换为Hugging Face格式。

📄 许可证

PAGnol采用MIT许可证。通过下载以下可用模型，即表示您同意遵守MIT许可协议的条款。在任何情况下，LightOn和/或Inria均不对因您使用或无法使用PAGnol而直接或间接导致的任何索赔、损害、损失、费用、成本或责任（包括但不限于因利润损失、业务中断或信息丢失而造成的任何直接或间接损害）承担任何责任。

📖 引用

如果您在研究中使用了PAGnol，请使用以下BibTeX引用：

@inproceedings{launay-etal-2022-pagnol,
    title = "{PAG}nol: An Extra-Large {F}rench Generative Model",
    author = "Launay, Julien  and
      Tommasone, E.l.  and
      Pannier, Baptiste  and
      Boniface, Fran{\c{c}}ois  and
      Chatelain, Am{\'e}lie  and
      Cappelli, Alessandro  and
      Poli, Iacopo  and
      Seddah, Djam{\'e}",
    editor = "Calzolari, Nicoletta  and
      B{\'e}chet, Fr{\'e}d{\'e}ric  and
      Blache, Philippe  and
      Choukri, Khalid  and
      Cieri, Christopher  and
      Declerck, Thierry  and
      Goggi, Sara  and
      Isahara, Hitoshi  and
      Maegaard, Bente  and
      Mariani, Joseph  and
      Mazo, H{\'e}l{\`e}ne  and
      Odijk, Jan  and
      Piperidis, Stelios",
    booktitle = "Proceedings of the Thirteenth Language Resources and Evaluation Conference",
    month = jun,
    year = "2022",
    address = "Marseille, France",
    publisher = "European Language Resources Association",
    url = "https://aclanthology.org/2022.lrec-1.455",
    pages = "4275--4284",
}

📞 联系我们

• 研究咨询：pagnol@lighton.ai
• 商务咨询：customer.relations@lighton.ai