language:

• 葡萄牙语 license: apache-2.0 library_name: transformers tags:
• 健康
• 葡萄牙语
• llama-cpp
• gguf-my-repo base_model: rhaymison/Mistral-portuguese-luana-7b datasets:
• rhaymison/mental-health-qa pipeline_tag: 文本生成 model-index:
• name: Mistral-portuguese-luana-7b-mental-health results:
  • task: type: 文本生成 name: 文本生成 dataset: name: ENEM 挑战赛（无图像） type: eduagarcia/enem_challenge split: 训练集 args: num_few_shot: 3 metrics:
    • type: 准确率 value: 60.53 name: 准确率 source: url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Mistral-portuguese-luana-7b-mental-health name: 葡萄牙语开源大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: BLUEX（无图像） type: eduagarcia-temp/BLUEX_without_images split: 训练集 args: num_few_shot: 3 metrics:
    • type: 准确率 value: 48.26 name: 准确率 source: url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Mistral-portuguese-luana-7b-mental-health name: 葡萄牙语开源大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: OAB 考试 type: eduagarcia/oab_exams split: 训练集 args: num_few_shot: 3 metrics:
    • type: 准确率 value: 38.04 name: 准确率 source: url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Mistral-portuguese-luana-7b-mental-health name: 葡萄牙语开源大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: Assin2 RTE type: assin2 split: 测试集 args: num_few_shot: 15 metrics:
    • type: 宏F1值 value: 91.3 name: 宏F1值 source: url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Mistral-portuguese-luana-7b-mental-health name: 葡萄牙语开源大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: Assin2 STS type: eduagarcia/portuguese_benchmark split: 测试集 args: num_few_shot: 15 metrics:
    • type: 皮尔逊系数 value: 74.98 name: 皮尔逊系数 source: url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Mistral-portuguese-luana-7b-mental-health name: 葡萄牙语开源大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: FaQuAD NLI type: ruanchaves/faquad-nli split: 测试集 args: num_few_shot: 15 metrics:
    • type: 宏F1值 value: 60.57 name: 宏F1值 source: url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Mistral-portuguese-luana-7b-mental-health name: 葡萄牙语开源大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: HateBR 二分类 type: ruanchaves/hatebr split: 测试集 args: num_few_shot: 25 metrics:
    • type: 宏F1值 value: 76.86 name: 宏F1值 source: url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Mistral-portuguese-luana-7b-mental-health name: 葡萄牙语开源大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: 葡萄牙语仇恨言论二分类 type: hate_speech_portuguese split: 测试集 args: num_few_shot: 25 metrics:
    • type: 宏F1值 value: 70.05 name: 宏F1值 source: url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Mistral-portuguese-luana-7b-mental-health name: 葡萄牙语开源大模型排行榜
  • task: type: 文本生成 name: 文本生成 dataset: name: tweetSentBR type: eduagarcia/tweetsentbr_fewshot split: 测试集 args: num_few_shot: 25 metrics:
    • type: 宏F1值 value: 64.9 name: 宏F1值 source: url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Mistral-portuguese-luana-7b-mental-health name: 葡萄牙语开源大模型排行榜

noxinc/Mistral-portuguese-luana-7b-mental-health-Q5_K_M-GGUF

该模型通过 llama.cpp 从 rhaymison/Mistral-portuguese-luana-7b-mental-health 转换为 GGUF 格式，使用了 ggml.ai 的 GGUF-my-repo 空间。 关于模型的更多详情，请参考原始模型卡片。

使用 llama.cpp

通过 brew 安装 llama.cpp。

brew install ggerganov/ggerganov/llama.cpp

调用 llama.cpp 服务器或命令行界面。

命令行界面：

llama-cli --hf-repo noxinc/Mistral-portuguese-luana-7b-mental-health-Q5_K_M-GGUF --model mistral-portuguese-luana-7b-mental-health.Q5_K_M.gguf -p "生命和宇宙的意义是"

服务器：

llama-server --hf-repo noxinc/Mistral-portuguese-luana-7b-mental-health-Q5_K_M-GGUF --model mistral-portuguese-luana-7b-mental-health.Q5_K_M.gguf -c 2048

注意：你也可以直接通过 Llama.cpp 仓库中列出的使用步骤使用该检查点。

git clone https://github.com/ggerganov/llama.cpp &&             cd llama.cpp &&             make &&             ./main -m mistral-portuguese-luana-7b-mental-health.Q5_K_M.gguf -n 128