推理: 否
语言:
- 日语
- 英语
- 德语
- 冰岛语
- 中文
- 捷克语
许可证: llama2
全新翻译模型发布
C3TR-Adapter 是专为google/gemma-7b设计的QLoRA适配器。
尽管采用4位量化技术,GPU显存需求仍增至8.1GB。
但可在Colab免费版运行,且性能显著提升!
webbigdata/ALMA-7B-Ja-V2
ALMA-7B-Ja-V2是一款支持日英互译的机器翻译模型。
该模型在旧版ALMA-7B-Ja基础上追加训练,性能更优。
除日英翻译外,本模型还具备以下语言对的翻译能力(但主要优化方向为日英互译):
- 德语(de) ↔ 英语(en)
- 中文(zh) ↔ 英语(en)
- 冰岛语(is) ↔ 英语(en)
- 捷克语(cs) ↔ 英语(en)
基准测试结果
采用三类指标评估翻译性能(数值越高表现越好):
BLEU
评估译文与原文的词汇相似度,但无法有效衡量语序准确性和语句流畅度。
chrF++
基于字符组合匹配度和词序的评估方法,但对长文本评估效果有限。
COMET
基于机器学习模型的自动评估工具,接近人工主观评价,但受训练数据影响较大。
对比NLLB-200
与Meta支持200+语言的超多语言翻译模型NLLB-200系列对比:
模型名称 |
文件大小 |
英→日chrF++/F2 |
英→日COMET |
日→英chrF++/F2 |
日→英COMET |
NLLB-200蒸馏版 |
2.46GB |
23.6/- |
- |
50.2/- |
- |
NLLB-200蒸馏版 |
5.48GB |
25.4/- |
- |
54.2/- |
- |
NLLB-200标准版 |
5.48GB |
24.2/- |
- |
53.6/- |
- |
NLLB-200标准版 |
17.58GB |
25.2/- |
- |
55.1/- |
- |
NLLB-200完整版 |
220.18GB |
27.9/33.2 |
0.8908 |
55.8/59.8 |
0.8792 |
前代模型(ALMA-7B-Ja)
模型名称 |
文件大小 |
英→日chrF++/F2 |
英→日COMET |
日→英chrF++/F2 |
日→英COMET |
4位量化版 |
3.6GB |
-/24.2 |
0.8210 |
-/54.2 |
0.8559 |
GPTQ量化版 |
3.9GB |
-/30.8 |
0.8743 |
-/60.9 |
0.8743 |
原版 |
13.48GB |
-/31.8 |
0.8811 |
-/61.6 |
0.8773 |
ALMA-7B-Ja-V2
模型名称 |
文件大小 |
英→日chrF++/F2 |
英→日COMET |
日→英chrF++/F2 |
日→英COMET |
GPTQ量化版 |
3.9GB |
-/33.0 |
0.8818 |
-/62.0 |
0.8774 |
原版 |
13.48GB |
-/33.9 |
0.8820 |
-/63.1 |
0.8873 |
LoRA微调版 |
13.48GB |
-/33.7 |
0.8843 |
-/61.1 |
0.8775 |
多体裁文本实测
政府公文
|
英→日chrF2++ |
BLEU |
COMET |
日→英chrF2++ |
BLEU |
COMET |
GPTQ量化版 |
25.3 |
15.00 |
0.8848 |
60.3 |
26.82 |
0.6189 |
原版 |
27.2 |
15.60 |
0.8868 |
58.5 |
29.27 |
0.6155 |
LoRA微调版 |
24.5 |
13.58 |
0.8670 |
50.7 |
21.85 |
0.6196 |
SeamlessM4T |
27.3 |
16.76 |
0.9070 |
54.2 |
25.76 |
0.5656 |
GPT-3.5 |
34.6 |
28.33 |
0.8895 |
74.5 |
49.20 |
0.6382 |
GPT-4.0 |
36.5 |
28.07 |
0.9255 |
62.5 |
33.63 |
0.6320 |
谷歌翻译 |
43.5 |
35.37 |
0.9181 |
62.7 |
29.22 |
0.6446 |
DeepL |
43.5 |
35.74 |
0.9301 |
60.1 |
27.40 |
0.6389 |
古典文学
|
英→日chrF2++ |
BLEU |
COMET |
日→英chrF2++ |
BLEU |
COMET |
GPTQ量化版 |
11.8 |
7.24 |
0.6943 |
31.9 |
9.71 |
0.5617 |
原版 |
10.7 |
4.93 |
0.7202 |
32.9 |
10.52 |
0.5638 |
GPT-4.0 |
13.3 |
8.33 |
0.7074 |
44.3 |
23.75 |
0.5518 |
DeepL |
14.4 |
9.18 |
0.7149 |
34.6 |
10.68 |
0.5787 |
同人小说
|
英→日chrF2++ |
BLEU |
COMET |
日→英chrF2++ |
BLEU |
COMET |
GPTQ量化版 |
27.6 |
18.28 |
0.8643 |
52.1 |
24.58 |
0.6106 |
LoRA微调版 |
23.9 |
18.55 |
0.8634 |
55.6 |
29.91 |
0.6093 |
GPT-4.0 |
30.7 |
24.31 |
0.8848 |
53.9 |
24.89 |
0.6163 |
示例代码
通过Colab免费版示例快速体验模型性能。
其他版本
llama.cpp
专为MacBook设计的4位整数量化方案llama.cpp。
使用gguf量化版可在无GPU设备运行。
无GPU版Colab示例
GPTQ
模型压缩技术GPTQ量化版(3.9GB),牺牲少量性能提升速度。
批量翻译示例
ALMA采用创新范式:先单语微调后平行语料优化,详见论文。
原始模型ALMA-7B(26.95GB)
前代模型ALMA-7B-Ja(13.3GB)
关于本项目