库名称:transformers
许可证:cc-by-nc-4.0
基础模型:atlasia/Terjman-Nano-v1
评估指标:
模型索引:
- 名称:Terjman-Nano-v2.0
结果:[]
数据集:
- BounharAbdelaziz/Terjman-v2-English-Darija-Dataset-350K
语言:
管道标签:translation(翻译)
🇲🇦 Terjman-Nano-v2.0(77M参数)🚀
Terjman-Nano-v2.0 是atlasia/Terjman-Nano-v1的改进版本,基于强大的Transformer架构,专为高质量精准翻译而微调。
此版本基于atlasia/Terjman-Nano-v1,并采用更大更精炼的数据集训练,翻译性能显著提升。在TerjamaBench(针对英语-摩洛哥方言翻译模型的评估基准,侧重文化层面挑战)上,其表现与gpt-4o-2024-08-06相当。
🚀 核心特性
✅ 专为英语→摩洛哥方言翻译优化
✅ 开源模型中的顶尖性能
✅ 兼容🤗 Transformers,可轻松部署于各类硬件
🔥 性能对比
下表通过BLEU、chrF和TER分数对比Terjman-Nano-v2.0与闭源/开源模型。BLEU/chrF越高、TER越低代表翻译质量越好。
模型 |
参数量 |
BLEU↑ |
chrF↑ |
TER↓ |
闭源模型 |
|
|
|
|
gemini-exp-1206 |
* |
30.69 |
54.16 |
67.62 |
claude-3-5-sonnet-20241022 |
* |
30.51 |
51.80 |
67.42 |
gpt-4o-2024-08-06 |
* |
28.30 |
50.13 |
71.77 |
开源模型 |
|
|
|
|
Terjman-Ultra-v2.0 |
1.3B |
25.00 |
44.70 |
77.20 |
Terjman-Supreme-v2.0 |
3.3B |
23.43 |
44.57 |
78.17 |
Terjman-Large-v2.0 |
240M |
22.67 |
42.57 |
83.00 |
Terjman-Nano-v2.0(本模型) |
77M |
18.84 |
38.41 |
94.73 |
atlasia/Terjman-Large-v1.2 |
240M |
16.33 |
37.10 |
89.13 |
MBZUAI-Paris/Atlas-Chat-9B |
9B |
14.80 |
35.26 |
93.95 |
facebook/nllb-200-3.3B |
3.3B |
14.76 |
34.17 |
94.33 |
atlasia/Terjman-Nano |
77M |
09.98 |
26.55 |
106.49 |
🔬 模型详情
🚀 使用指南
通过Hugging Face Transformers库调用:
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
model_name = "BounharAbdelaziz/Terjman-Nano-v2.0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
def translate(text):
inputs = tokenizer(text, return_tensors="pt")
output = model.generate(**inputs)
return tokenizer.decode(output[0], skip_special_tokens=True)
text = "Hello there! Today the weather is so nice in Geneva, couldn't ask for more to enjoy the holidays :)"
translation = translate(text)
print("翻译结果:", translation)
🖥️ 部署方案
在Hugging Face Space体验
访问Terjman-Nano Space交互式试用🤗
使用Text Generation Inference (TGI)加速
pip install text-generation
text-generation-launcher --model-id BounharAbdelaziz/Terjman-Nano-v2.0
本地运行(需Transformers和PyTorch)
pip install transformers torch
python -c "from transformers import pipeline; print(pipeline('translation', model='BounharAbdelaziz/Terjman-Nano-v2.0')('Hello there!'))"
API服务部署(FastAPI示例)
from fastapi import FastAPI
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
app = FastAPI()
model_name = "BounharAbdelaziz/Terjman-Nano-v2.0"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
@app.get("/translate/")
def translate(text: str):
inputs = tokenizer(text, return_tensors="pt")
output = model.generate(**inputs)
return {"translation": tokenizer.decode(output[0], skip_special_tokens=True)}
🛠️ 训练参数
- 学习率:0.0001
- 训练批大小:64
- 评估批大小:64
- 随机种子:42
- 梯度累积步数:4
- 有效总批大小:256
- 优化器:AdamW(betas=0.9/0.999,epsilon=1e-08)
- 学习率调度器:线性
- 预热比例:0.1
- 训练轮次:5
- 精度:混合FP16
框架版本
- Transformers 4.47.1
- PyTorch 2.5.1+cu124
- Datasets 3.1.0
- Tokenizers 0.21.0
📜 许可协议
本模型采用**CC BY-NC(知识共享-署名-非商业性使用)**许可,允许研究与个人使用,禁止商用。商业合作请洽作者:)
@misc{terjman-v2,
title = {Terjman-v2: 英语-摩洛哥方言高质量翻译模型},
author={Abdelaziz Bounhar},
year={2025},
howpublished = {\url{https://huggingface.co/BounharAbdelaziz/Terjman-Nano-v2.0}},
license = {CC BY-NC}
}