许可协议: cc-by-nc-4.0
支持语言:

• 英语
• 德语
• 法语
• 中文
• 葡萄牙语
• 荷兰语
• 俄语
• 韩语
• 意大利语
• 西班牙语
  评估指标:
• comet
  任务标签: 翻译

TowerInstruct-7B-v0.1模型卡

模型详情

模型描述

TowerInstruct-7B是通过在TowerBlocks监督微调数据集上对TowerBase进行微调得到的语言模型。TowerInstruct-7B-v0.1是该系列的首个版本。
该模型专为处理多种翻译相关任务设计，包括：通用机器翻译（如句子/段落级翻译、术语感知翻译、上下文感知翻译）、自动译后编辑、命名实体识别、语法纠错以及 paraphrase 生成等。
我们将在后续技术报告中披露更多细节。

• 开发团队: Unbabel、里斯本高等理工学院、巴黎萨克雷中央理工
• 模型类型: 70亿参数模型，基于公开翻译任务数据集、对话数据集和代码指令进行混合微调
• 支持语言: 英语、葡萄牙语、西班牙语、法语、德语、荷兰语、意大利语、韩语、中文、俄语
• 许可协议: CC-BY-NC-4.0，Llama 2采用LLAMA 2社区许可，版权归Meta Platforms公司所有
• 基础模型: TowerBase

使用范围与限制

本模型基于经过筛选的监督微调数据集TowerBlocks训练，涵盖以下多样化数据源：

• 句子/段落级翻译
• 自动译后编辑
• 机器翻译评估
• 上下文感知翻译
• 术语感知翻译
• 多参考译文
• 命名实体识别
• 复述生成
• 合成对话数据
• 代码指令

可通过🤗 Transformers库调用模型：

# 安装开发版transformers（仅v4.34及以下版本需要）
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="Unbabel/TowerInstruct-v0.1", torch_dtype=torch.bfloat16, device_map="auto")
# 使用聊天模板格式化消息（详见HuggingFace文档）
messages = [
    {"role": "user", "content": "将下列葡萄牙语文本翻译成英语。\n葡萄牙语: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução.\n英语:"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])
# <|im_start|>user
# 将下列葡萄牙语文本翻译成英语。
# 葡萄牙语: Um grupo de investigadores lançou um novo modelo para tarefas relacionadas com tradução。
# 英语:<|im_end|>
# <|im_start|>assistant
# 一组研究人员发布了面向翻译任务的新模型。

非适用场景

本模型仅支持10种指定语言，不保证其他语言的性能。虽然包含对话和代码训练数据，但不宜用作聊天机器人或代码助手。
当前文档级翻译功能仍在改进中，不建议用于文档级翻译场景。

偏差与风险

TowerInstruct-v0.1未经过人类偏好对齐，可能产生幻觉输出、有害内容或错误陈述。

提示词格式

模型采用ChatML模板（不含系统提示），示例格式如下：

<|im_start|>user
{用户提示}<|im_end|>
<|im_start|>assistant
{模型响应}<|im_end|>
<|im_start|>user
[...]

监督任务

所有监督任务的提示模板均可在TowerBlocks中找到。每个任务使用多组提示模板，不同模板的输出差异对最终性能影响极小。

训练参数

训练数据

参见TowerBlocks数据集。

超参数设置

训练采用以下超参数配置：

• 总训练批大小: 256
• 学习率: 7e-06
• 学习率调度器: cosine
• 预热步数: 500
• 权重衰减: 0.01
• 优化器: Adam (beta1=0.9, beta2=0.999, epsilon=1e-08)
• 训练轮次: 4
• 最大序列长度: 2048

文献引用

@misc{tower_llm_2024,
      title={Tower: 面向翻译任务的多语言大语言模型}, 
      author={杜阿尔特·M·阿尔维斯等},
      year={2024},
      eprint={2402.17733},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}