🚀 Gervásio 8B PTPT解码器模型

🤖 Gervásio 8B PTPT 是一款面向葡萄牙语的开源解码器模型。它基于Transformer架构，在LLaMA 3.1 8B Instruct模型基础上进行微调，拥有强大的文本生成能力。该模型由葡萄牙里斯本大学的团队开发，可免费用于研究和商业目的，并且由于其规模适中，能够在消费级硬件上运行。

🚀 快速开始

本模型集成在聊天机器人 Evaristo.ai 中，你可以通过图形用户界面（GUI）即时体验其生成能力。

你也可以使用以下代码直接调用该模型进行因果语言建模：

>>> from transformers import pipeline
>>> generator = pipeline(model='PORTULAN/gervasio-8b-portuguese-ptpt-decoder')
>>> generator("A comida portuguesa é", max_new_tokens=10)

✨ 主要特性

• 开源免费：基于开放许可证免费分发，可用于研究和商业目的。
• 硬件友好：规模适中，能够在消费级硬件上运行。
• 多数据集训练：在多种葡萄牙语数据集上进行训练，包括 extraGLUE-Instruct 等。

📦 安装指南

暂未提供相关安装步骤，可参考 transformers 库的安装方法。

💻 使用示例

基础用法

from transformers import pipeline
generator = pipeline(model='PORTULAN/gervasio-8b-portuguese-ptpt-decoder')
input_text = "A comida portuguesa é"
output = generator(input_text, max_new_tokens=10)
print(output)

📚 详细文档

模型描述

该模型具有80亿个参数，32层，隐藏层大小为4096，中间层大小为14336，32个注意力头。它使用RoPE分词器，词汇表大小为128256。

训练数据

Gervásio 8B PTPT 在多种数据集上进行训练，这些数据集要么是欧洲葡萄牙语原生的，要么是翻译成欧洲葡萄牙语的。训练数据包括：

• extraGLUE-Instruct
• MMLU PT（多项选择题回答）
• 自然指令的一个子集（主要是多项选择题回答任务）
• 手动筛选的维基百科子集
• 手动筛选的谚语列表

训练细节

在微调过程中，我们采用了监督微调方法，以因果语言建模为训练目标，并使用了零输出技术。具体来说，在微调过程中，整个提示和聊天模板都会受到关注，但只有响应令牌会进行反向传播。

为了加速训练，我们在10个L40S GPU上使用了完全分片数据并行（FSDP）范式。

性能

在测试中，我们使用了标准基准测试GPQA Diamond、MMLU和MMLU Pro的翻译版本，以及 extraGLUE 中的CoPA、MRPC和RTE数据集。

🔧 技术细节

本模型基于Transformer架构，在LLaMA 3.1 8B Instruct模型基础上进行微调。在微调过程中，采用了监督微调方法，以因果语言建模为训练目标，并使用了零输出技术。为了加速训练，使用了完全分片数据并行（FSDP）范式。

📄 许可证

本模型采用MIT许可证，可免费用于研究和商业目的。

📖 引用信息

如果你使用或引用本模型，请使用以下规范引用：

@misc{gervasio,
      title={Advancing Generative AI for Portuguese with
             Open Decoder Gervásio PT-*}, 
      author={Rodrigo Santos, João Silva, Luís Gomes,
              João Rodrigues, António Branco},
      year={2024},
      eprint={2402.18766},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

🙏 致谢

本研究部分得到以下项目的支持：

• PORTULAN CLARIN — 语言科学与技术研究基础设施，由Lisboa 2020、Alentejo 2020和FCT — Fundação para a Ciência e Tecnologia资助，资助编号为PINFRA/22117/2016。
• 创新项目ACCELERAT.AI - 多语言智能联络中心，由IAPMEI, I.P. - Agência para a Competitividade e Inovação I.P.资助，资助编号为C625734525-00462629，属于Plano de Recuperação e Resiliência项目，招标编号为RE-C05-i01.01 – Agendas/Alianças Mobilizadoras para a Reindustrialização。
• 研究项目 "Hey, Hal, curb your hallucination! / Enhancing AI chatbots with enhanced RAG solutions"，由FCT - Fundação para a Ciência e a Tecnologia资助，资助编号为2024.07592.IACDC。
• 项目 "CLARIN – Infraestrutura de Investigação para a Ciência e Tecnologia da Linguagem"，由Lisboa2030项目资助，资助编号为LISBOA2030-FEDER-01316900PORTULAN。