语言:

• 葡萄牙语 许可证: Apache-2.0 库名称: transformers 标签:
• 葡萄牙语
• 问答
• 指令
• phi 基础模型: microsoft/Phi-3-mini-4k-instruct 数据集:
• rhaymison/superset 管道标签: 文本生成 模型索引:
• 名称: phi-3-portuguese-tom-cat-4k-instruct 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: ENEM挑战赛(无图像) 类型: eduagarcia/enem_challenge 分割: 训练集 参数: 少样本数量: 3 指标:
    • 类型: 准确率 值: 61.58 名称: 准确率 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/phi-3-portuguese-tom-cat-4k-instruct 名称: 葡萄牙语LLM公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: BLUEX(无图像) 类型: eduagarcia-temp/BLUEX_without_images 分割: 训练集 参数: 少样本数量: 3 指标:
    • 类型: 准确率 值: 50.63 名称: 准确率 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/phi-3-portuguese-tom-cat-4k-instruct 名称: 葡萄牙语LLM公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: OAB考试 类型: eduagarcia/oab_exams 分割: 训练集 参数: 少样本数量: 3 指标:
    • 类型: 准确率 值: 43.69 名称: 准确率 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/phi-3-portuguese-tom-cat-4k-instruct 名称: 葡萄牙语LLM公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Assin2 RTE 类型: assin2 分割: 测试集 参数: 少样本数量: 15 指标:
    • 类型: 宏F1 值: 91.54 名称: 宏F1 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/phi-3-portuguese-tom-cat-4k-instruct 名称: 葡萄牙语LLM公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Assin2 STS 类型: eduagarcia/portuguese_benchmark 分割: 测试集 参数: 少样本数量: 15 指标:
    • 类型: 皮尔逊系数 值: 75.27 名称: 皮尔逊系数 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/phi-3-portuguese-tom-cat-4k-instruct 名称: 葡萄牙语LLM公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: FaQuAD NLI 类型: ruanchaves/faquad-nli 分割: 测试集 参数: 少样本数量: 15 指标:
    • 类型: 宏F1 值: 47.46 名称: 宏F1 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/phi-3-portuguese-tom-cat-4k-instruct 名称: 葡萄牙语LLM公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HateBR二分类 类型: ruanchaves/hatebr 分割: 测试集 参数: 少样本数量: 25 指标:
    • 类型: 宏F1 值: 83.01 名称: 宏F1 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/phi-3-portuguese-tom-cat-4k-instruct 名称: 葡萄牙语LLM公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: 葡萄牙语仇恨言论二分类 类型: hate_speech_portuguese 分割: 测试集 参数: 少样本数量: 25 指标:
    • 类型: 宏F1 值: 70.19 名称: 宏F1 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/phi-3-portuguese-tom-cat-4k-instruct 名称: 葡萄牙语LLM公开排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: tweetSentBR 类型: eduagarcia/tweetsentbr_fewshot 分割: 测试集 参数: 少样本数量: 25 指标:
    • 类型: 宏F1 值: 57.78 名称: 宏F1 来源: 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/phi-3-portuguese-tom-cat-4k-instruct 名称: 葡萄牙语LLM公开排行榜

Phi-3-葡萄牙语-tom-cat-4k-instruct

该模型基于30万条葡萄牙语指令数据集训练而成，旨在填补葡萄牙语模型的空白。由microsoft/Phi-3-mini-4k微调而来。

如需增强兼容性，Luana模型还提供可在LlamaCpp上运行的GGUF系列。您可以从以下模型开始探索：

• rhaymison/phi-3-portuguese-tom-cat-4k-instruct-q8-gguf
• rhaymison/phi-3-portuguese-tom-cat-4k-instruct-f16-gguf

探索这些及其他模型，找到最适合您需求的方案！

使用方法

完整模型：A100

半精度模型：L4

8位或4位量化：T4或V100

您可以使用模型的常规形式或最高4位量化形式。以下是两种使用方式。 提示词中的动词很重要，告诉模型如何行动或表现，以引导其回答方向。这些关键点能帮助模型（即使是像4b这样的小模型）表现更佳。

!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("rhaymison/phi-3-portuguese-tom-cat-4k-instruct", device_map= {"": 0})
tokenizer = AutoTokenizer.from_pretrained("rhaymison/phi-3-portuguese-tom-cat-4k-instruct")
model.eval()

可使用Pipeline：

from transformers import pipeline
pipe = pipeline("text-generation",
                model=model,
                tokenizer=tokenizer,
                do_sample=True,
                max_new_tokens=512,
                num_beams=2,
                temperature=0.3,
                top_k=50,
                top_p=0.95,
                early_stopping=True,
                pad_token_id=tokenizer.eos_token_id,
                )

def format_template(question:str):
    system_prompt = "Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido."
    return f"""<s><|system|>
    { system_prompt }
    <|user|>
    { question }
    <|assistant|>
    """

question = format_template("E possivel ir de Carro dos Estados unidos ate o japão")
pipe(question)

若遇到"CUDA内存不足"问题，应使用4位或8位量化。完整模型在Colab上需要A100。若使用4位或8位量化，T4或L4即可解决问题。

4位量化示例

from transformers import BitsAndBytesConfig
import torch
nb_4bit_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    quantization_config=bnb_config,
    device_map={"": 0}
)

葡萄牙语LLM公开排行榜评估结果

详细结果请查看此处及🚀葡萄牙语LLM公开排行榜

联系方式

欢迎任何想法、帮助或反馈。

邮箱：rhaymisoncristian@gmail.com