缩略图: https://github.com/rinnakk/japanese-pretrained-models/blob/master/rinna.png 语言:

• 日语
• 英语 标签:
• qwen 推理: false 许可证: 其他 许可证名称: 通义千问许可协议 许可证链接: >- https://github.com/QwenLM/Qwen/blob/main/Tongyi%20Qianwen%20LICENSE%20AGREEMENT 管道标签: 文本生成 基础模型: rinna/nekomata-14b-instruction 基础模型关系: 量化版

rinna/nekomata-14b-instruction-gguf

概述

该模型是rinna/nekomata-14b-instruction的GGUF版本。可与llama.cpp配合实现轻量级推理。

本模型的GPTQ、AWQ和GGUF q4_0量化可能存在稳定性问题。我们推荐采用GGUF q4_K_M进行4位量化。

关于模型架构和数据详情，请参阅rinna/nekomata-14b-instruction。

• 贡献者

  • Toshiaki Wakatsuki
  • Tianyu Zhao
  • Kei Sawada

• 发布日期 2023年12月22日

模型使用方法

具体操作详见llama.cpp。

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make

MODEL_PATH=/path/to/nekomata-14b-instruction-gguf/nekomata-14b-instruction.Q4_K_M.gguf
MAX_N_TOKENS=512
PROMPT_INSTRUCTION="请将下列日语翻译成英语。"
PROMPT_INPUT="大規模言語モデル（だいきぼげんごモデル、英: large language model、LLM）は、多数のパラメータ（数千万から数十億）を持つ人工ニューラルネットワークで構成されるコンピュータ言語モデルで、膨大なラベルなしテキストを使用して自己教師あり学習または半教師あり学習によって训练が行われる。"
PROMPT="以下是任务说明指令和带上下文的输入组合。请撰写能恰当满足要求的响应。\n\n### 指令:\n${PROMPT_INSTRUCTION}\n\n### 输入:\n${PROMPT_INPUT}\n\n### 响应:\n"

./main -m ${MODEL_PATH} -n ${MAX_N_TOKENS} -p "${PROMPT}"

分词说明

分词细节请参考rinna/nekomata-14b。

引用方式

@misc{rinna-nekomata-14b-instruction-gguf,
    title = {rinna/nekomata-14b-instruction-gguf},
    author = {Wakatsuki, Toshiaki and Zhao, Tianyu and Sawada, Kei},
    url = {https://huggingface.co/rinna/nekomata-14b-instruction-gguf}
}

@inproceedings{sawada2024release,
    title = {日语预训练模型的发布},
    author = {Sawada, Kei and Zhao, Tianyu and Shing, Makoto and Mitsui, Kentaro and Kaga, Akio and Hono, Yukiya and Wakatsuki, Toshiaki and Mitsuda, Koh},
    booktitle = {2024年计算语言学国际联合会议暨语言资源与评估会议论文集(LREC-COLING 2024)},
    month = {5},
    year = {2024},
    pages = {13898--13905},
    url = {https://aclanthology.org/2024.lrec-main.1213},
    note = {\url{https://arxiv.org/abs/2404.01657}}
}

许可证

通义千问许可协议