许可证：llama2
语言：

• 葡萄牙语
  任务标签：文本生成
  库名称：transformers
  标签：
• llama
• peft
• 葡萄牙语
• 指导

模型索引：

• 名称：boana-7b-instruct
  结果：
  • 任务：
    类型：文本生成
    数据集：
    类型：Muennighoff/xwinograd
    名称：XWinograd（葡萄牙语）
    配置：pt
    拆分：测试
    指标：
    • 类型：准确率
      值：50.57

自述文件

Boana-7B-Instruct

Boana-7B-Instruct是一个基于葡萄牙语数据训练的LLM。该模型基于LLaMA2-7B，即LLaMA-2的70亿参数版本。Boana项目旨在提供葡萄牙语的LLM选项，同时提供一个复杂度较低的模型，以便计算资源较少的用户也能使用LLM。

支持葡萄牙语国家。

模型描述

• 开发者：Leonardo Souza
• **模型类型：**基于LLaMA
• **许可证：**学术自由许可证v3.0
• 微调模型：LLaMA2-7B

使用方法

import torch  
from transformers import pipeline  

boana = pipeline('text-generation', model='lrds-code/boana-7b-instruct', torch_dtype=torch.bfloat16, device_map='auto')  

messages = [{'role':'system',  
             'content':''},  
            {'role':'user',  
             'content':'太阳系中有多少颗行星？'}]  

prompt = boana.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)  
outputs = boana(prompt, max_new_tokens=256, do_sample=False, temperature=0, top_k=50, top_p=0.95)  
print(outputs[0]['generated_text'])  

# <s>[INST] <<SYS>>  

# <</SYS>>  

# 太阳系中有多少颗行星？ [/INST] 太阳系共有8颗行星：  

# 1. 水星  
# 2. 金星  
# 3. 地球  
# 4. 火星  
# 5. 木星  
# 6. 土星  
# 8. 海王星  

# 除了这些行星，太阳系还包括其他天体，如小行星、彗星和矮行星，以及多颗天然卫星  

重要参数

• **repetition_penalty：**用于避免单词或短语的重复。当该值设置为大于1时，模型会降低生成已出现单词的概率。基本上，值越大，模型越会避免重复。
• do_sample：决定模型是否应根据计算出的概率随机采样下一个单词。因此，do_sample=True会引入变化和不可预测性，而do_sample=False则会让模型总是选择最可能的单词作为下一个单词，可能导致输出更确定且可能更重复。
• **temperature：**影响选择下一个单词的随机性。较低的值（接近0）使模型更“自信”于其选择，偏向高概率单词，导致输出更可预测。较高的值会增加随机性，允许模型选择不太可能的单词，从而使生成的文本更多样化和富有创意。