基础模型: Unbabel/TowerInstruct-7B-v0.2
推理支持: 否
支持语言:

• 英语
• 德语
• 法语
• 中文
• 葡萄牙语
• 荷兰语
• 俄语
• 韩语
• 意大利语
• 西班牙语
  许可证: CC-BY-NC-4.0
  模型创建者: Unbabel
  模型名称: TowerInstruct 7B v0.2
  模型类型: llama
  任务标签: 翻译
  量化处理: arzeth

模型信息

• 模型创建者: Unbabel
• 原始卡片（含更多信息）: https://huggingface.co/Unbabel/TowerInstruct-7B-v0.2
• 支持语言: 英语、葡萄牙语、西班牙语、法语、德语、荷兰语、意大利语、韩语、中文、俄语。
• 上下文长度: 4096，但根据模型卡片说明，训练时使用的 max_seq_length 为 2048，因此请确保输入不超过 2048 个 token（约 1500 词？）。
• 模板: 该模型使用 ChatML 提示模板训练，但不包含任何系统提示！！！，即没有 <|im_start|>system，格式如下：

<|im_start|>user  
{用户提示}<|im_end|>  
<|im_start|>assistant  
{模型响应}<|im_end|>  
<|im_start|>user  
[...]  

量化信息

由于不确定是否适用于非通用大语言模型，因此未使用 imatrix 进行量化。

使用 llama.cpp @ 4c4cb30736582cacb1a164a9d4bc8e17b1014be7（2024-02-24）进行量化。

IQ3_M 需要最低版本 4c4cb30736582cacb1a164a9d4bc8e17b1014be7。

许可声明

这些 .gguf 文件本身采用 CC-0 许可（即公有领域）。

TowerInstruct-7B-v0.2 模型采用 CC-BY-NC-4.0 许可（"NC" 表示 "非商业" 用途，法律定义较为模糊），

但其基于 Llama 2 模型，后者采用 LLAMA 2 社区许可（版权 © Meta Platforms, Inc. 保留所有权利），简而言之，禁止将其用于欺凌、军事及犯罪活动。