Shisa V2 Llama3.3 70b

由 shisa-ai 开发

Shisa V2是由Shisa.AI训练的双语(日语/英语)通用聊天模型系列，基于Llama-3.3-70B-Instruct优化，专注于提升日语任务表现同时保持英语能力。

大型语言模型

Transformers

支持多种语言

#日语优化 #双语对话 #大模型微调

下载量 144

发布时间 : 4/13/2025

模型介绍

内容详情

替代品

模型简介

Shisa V2是专注于日语优化的双语大语言模型，采用合成数据驱动方法显著提升日语输出质量，在保持英语能力的同时成为日语任务表现优异的模型。

模型特点

双语优化

专门针对日语和英语双语能力进行优化，在日语任务上表现突出同时保持英语能力

合成数据驱动

采用创新的合成数据驱动训练方法，显著提升模型性能而不依赖持续预训练

扩展评估体系

开发了多个新的日语评估基准，全面衡量模型在日语特定任务上的表现

多规模支持

提供从7B到70B参数的不同规模模型，满足不同应用场景需求

模型能力

日语文本生成

英语文本生成

日语-英语翻译

角色扮演对话

指令跟随

多轮对话

使用案例

聊天应用

日语智能助手

为日语用户提供高质量的对话和问答服务

在ELYZA 100测试中获得8.98分

内容创作

日语内容生成

生成符合日语语言习惯的各类文本内容

在Rakuda测试中获得9.32分

语言服务

日英互译

提供高质量的日语-英语双向翻译服务

在翻译测试中获得8.37分

库名称: transformers 模型名称: shisa-v2-llama3.3-70b 许可证: llama3.3 数据集:

shisa-ai/shisa-v2-sharegpt
shisa-ai/deepseekv3-ultrafeedback-armorm-dpo 语言:
日语
英语基础模型:
meta-llama/Llama-3.3-70B-Instruct 管道标签: 文本生成

Shisa V2

Shisa V2是由Shisa.AI训练的一系列双语(日语/英语)通用聊天模型。这些模型旨在擅长日语任务的同时保持强大的英语能力。

自我们最初发布Shisa 7B以来，开源权重语言模型的日语基础能力已显著提升。新模型拥有更多日语预训练token、更高的JA tokenizer效率，以及整体更优质的日语输出。因此，在Shisa V2中，我们既没有扩展tokenizer，也没有进行昂贵的持续预训练，而是完全专注于优化训练后阶段。我们大幅扩展并完善了最初在Shisa 7B模型中开创的合成数据驱动方法，并取得了显著的性能提升。

模型系列概览

Shisa V2系列包含从7B到70B参数规模不等的多种模型：

许可证	模型	参数量	上下文长度	JA平均分	EN平均分
Apache 2.0	shisa-v2-qwen2.5-7b	7B	128K/8K	71.06	54.86
Llama 3.1	shisa-v2-llama3.1-8b¹	8B	128K	70.83	54.75
Apache 2.0	shisa-v2-mistral-nemo-12b	12B	128K	72.83	53.33
MIT	shisa-v2-unphi4-14b	14B	16K	75.89	60.10
Apache 2.0	shisa-v2-qwen2.5-32b	32B	128K/8K	76.97	67.41
Llama 3.3	shisa-v2-llama3.3-70b¹	70B	128K	79.72	67.71

所有Shisa V2模型都使用相同的数据集和训练方案进行训练，仅根据模型规模调整学习率，并为70B模型修改了全局批量大小。

虽然我们大部分的开发和调优工作是在Llama 3.1 8B模型上完成的，但在此过程中我们也进行了交叉验证，很高兴我们的最终方案展现了稳健的扩展性，在所有评估的模型规模上都提升了日语性能。我们优先发布了每个规模级别中最高质量的开源许可证(Apache 2.0和MIT)模型。

性能表现

所有Shisa V2模型相比各自的基础模型都展现了改进的日语输出质量：

模型	JA平均分	EN平均分	Shaberi平均分	ELYZA 100	JA MT Bench	Rakuda	Tengu	llm-jp-eval	shisa-jp-ifeval	shisa-jp-rp-bench	shisa-jp-tl-bench	MixEval	LiveBench	IFEval	EvalPlus
shisa-ai/shisa-v2-llama3.3-70b	79.72	67.71	8.86	8.98	9.03	9.32	8.11	0.63	0.42	4.72	8.37	0.59	48.7	0.84	0.79
meta-llama/Llama-3.3-70B-Instruct	72.75	71.48	8.28	8.09	8.76	8.88	7.40	0.66	0.35	4.65	5.75	0.64	51.8	0.92	0.79

Shisa V2模型在各自规模级别的模型中表现优异。

许可证	模型	JA平均分	EN平均分	Shaberi平均分	ELYZA 100	JA MT Bench	Rakuda	Tengu	llm-jp-eval	shisa-jp-ifeval	shisa-jp-rp-bench	shisa-jp-tl-bench	MixEval	LiveBench	IFEval	EvalPlus
Llama 3.3	shisa-ai/shisa-v2-llama3.3-70b	79.72	67.71	8.86	8.98	9.03	9.32	8.11	0.63	0.42	4.72	8.37	0.59	48.7	0.84	0.79
Qwen	Qwen/Qwen2.5-72B-Instruct	77.57	68.12	8.81	8.97	8.83	9.23	8.22	0.67	0.47	4.52	6.39	0.54	53.8	0.86	0.79
Llama 3.3	tokyotech-llm/Llama-3.3-Swallow-70B-Instruct-v0.4	75.59	61.03	8.55	8.34	8.81	9.15	7.90	0.66	0.39	4.55	6.63	0.50	41.6	0.80	0.73
Llama 3.1	allenai/Llama-3.1-Tulu-3-70B	74.64	64.48	8.60	8.31	8.84	9.36	7.91	0.65	0.41	4.70	5.31	0.54	42.4	0.86	0.76
Llama 3.1	cyberagent/Llama-3.1-70B-Japanese-Instruct-2407	73.67	64.47	8.68	8.93	8.61	9.14	8.06	0.63	0.36	4.05	6.25	0.56	43.6	0.85	0.73
Llama 3.3	meta-llama/Llama-3.3-70B-Instruct	72.75	71.48	8.28	8.09	8.76	8.88	7.40	0.66	0.35	4.65	5.75	0.64	51.8	0.92	0.79
Llama 3	shisa-ai/shisa-v1-llama3-70b	60.63	52.96	7.73	7.33	8.06	8.88	6.65	0.26	0.24	4.51	3.51	0.56	27.4	0.65	0.63

测试说明

日语功能测试使用了shisa-ai/shaberi分叉的LightBlue Shaberi评估框架。Shaberi评分由以下PoLL(LLM评审团)执行：

结果经过统计验证，与gpt-4-1106-preview和人工评审的"黄金标准"评分具有可比性。

在测试上下文窗口小于8K token的模型时，根据需要使用了动态RoPE扩展。所有测试均使用最新版本的vLLM或SGLang进行。

我们开发了自定义的"multieval"框架来自动化模型评估。标准基准包括：

新日语基准

在模型开发过程中，我们还创建了几个新的评估标准，以帮助我们衡量重要日语下游任务的性能：

shisa-jp-ifeval：受IFEval启发，但评估特定于日语语法和语言学的指令遵循能力(封闭形式)
shisa-jp-rp-bench：基于Aratako的Japanese-RP-Bench，评估日语角色扮演和基于角色/人物的多轮对话性能(LLM评判)
shisa-jp-tl-bench：测试日语-英语翻译能力(LLM评判，BTL成对比较，采用逻辑转换评分)

我们相信这些基准将具有普遍实用性，并计划在不久的将来将其开源，以支持日语LLM研究社区。