🚀 BODE - GGUF 版本

本仓库包含 70 亿参数的 Bode 模型，采用 GGUF 格式，有 32 位和 16 位版本，以及 8 位、5 位和 4 位的量化版本。Bode 是一个葡萄牙语大语言模型（LLM），基于 Llama 2 模型，在 Alpaca 数据集上进行微调训练得到，该数据集由 Cabrita 的作者翻译成葡萄牙语。此模型专为葡萄牙语自然语言处理任务设计，如文本生成、自动翻译、文本摘要等。开发 BODE 的目的是填补葡萄牙语大语言模型的空白。像 LLaMa 这样的经典模型虽然能够回应葡萄牙语提示，但往往存在大量语法错误，有时还会用英语生成答案。目前，免费可用的葡萄牙语模型较少，据我们所知，还没有专门针对葡萄牙语数据训练的 130 亿参数或更多参数的模型。

点击论文，了解关于 Bode 的更多信息。本页面提供的 Bode 模型版本，是使用 Recogna 高级研究实验室的内部资源进行训练的。

🚀 快速开始

本项目提供了葡萄牙语大语言模型 Bode 的多种版本，支持 CPU 和 GPU 推理，以下将详细介绍其相关信息和使用方法。

✨ 主要特性

• 多格式支持：提供 32 位、16 位版本，以及 8 位、5 位和 4 位的量化版本。
• 葡萄牙语适配：专门针对葡萄牙语进行微调训练，更适合葡萄牙语自然语言处理任务。
• 推理灵活：支持使用 llama.cpp 进行推理，可利用 CPU 或 GPU，还与多种工具和库兼容。

📦 安装指南

使用示例代码前，需要安装必要的依赖：

# 必要的下载
!pip install ctransformers
!pip install langchain

💻 使用示例

基础用法

以下是使用 5 位量化版本，结合 ctransformers 和 LangChain 的示例：

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

from langchain.chains import LLMChain
from langchain.prompts import PromptTemplate
from langchain.llms import CTransformers

template = """Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.

### Instrução:
{instruction}

### Resposta:"""

prompt = PromptTemplate(template=template, input_variables=["instruction"])

llm = CTransformers(model="recogna-nlp/bode-7b-alpaca-pt-br-gguf", model_file="bode-7b-alpaca-q8_0.gguf", model_type='llama')
llm_chain = LLMChain(prompt=prompt, llm=llm)

response = llm_chain.run("O que é um bode?")
print(response)
# 示例响应（可能因温度参数而有所不同）：Um bode é um animal de quatro patas e membros postiados atrás, com um corpo alongado e coberto por pelagem escura.

📚 详细文档

关于 GGUF 格式

GGUF 格式的模型可使用 llama.cpp 进行推理，支持 CPU 和 GPU，还与其他库和工具兼容，如：

• text-generation-webui
• KoboldCpp
• LM Studio
• LoLLMS Web UI
• ctransformers
• llama-cpp-python

模型详情

可用版本

训练与数据

Bode 模型基于 Llama 2 模型，通过在葡萄牙语 Alpaca 数据集（基于指令的数据集）上进行微调训练得到。训练在 LNCC 的超级计算机 Santos Dumont 上进行，由 Fundunesp 2019/00697 - 8 项目支持。

引用

如果您在研究中使用 Bode 模型，可以引用这篇论文，引用格式如下：

    @misc{bode2024,
      title={Introducing Bode: A Fine-Tuned Large Language Model for Portuguese Prompt-Based Task}, 
      author={Gabriel Lino Garcia and Pedro Henrique Paiola and Luis Henrique Morelli and Giovani Candido and Arnaldo Cândido Júnior and Danilo Samuel Jodas and Luis C. S. Afonso and Ivan Rizzo Guilherme and Bruno Elias Penteado and João Paulo Papa},
      year={2024},
      eprint={2401.02909},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

贡献

欢迎对本模型进行改进和贡献。您可以自由地提出问题和提交拉取请求。

📄 许可证

本项目采用 MIT 许可证。