标签:

• ctranslate2
• 翻译 许可证: apache-2.0

使用Ctranslate2进行快速推理

通过C++中的int8推理，将推理速度提升2倍至8倍

Helsinki-NLP/opus-mt-de-en的量化版本

pip install hf-hub-ctranslate2>=1.0.0 ctranslate2>=3.13.0

转换命令如下：

ct2-transformers-converter --model Helsinki-NLP/opus-mt-de-en --output_dir /home/michael/tmp-ct2fast-opus-mt-de-en --force --copy_files README.md generation_config.json tokenizer_config.json vocab.json source.spm .gitattributes target.spm --quantization float16

检查点与ctranslate2和hf-hub-ctranslate2兼容

• compute_type=int8_float16 适用于 device="cuda"
• compute_type=int8 适用于 device="cpu"

from hf_hub_ctranslate2 import TranslatorCT2fromHfHub, GeneratorCT2fromHfHub
from transformers import AutoTokenizer

model_name = "michaelfeil/ct2fast-opus-mt-de-en"
# 根据模型选择使用TranslatorCT2fromHfHub或GeneratorCT2fromHfHub
model = TranslatorCT2fromHfHub(
        # 在CUDA上以int8加载
        model_name_or_path=model_name, 
        device="cuda",
        compute_type="int8_float16",
        tokenizer=AutoTokenizer.from_pretrained("Helsinki-NLP/opus-mt-de-en")
)
outputs = model.generate(
    text=["How do you call a fast Flan-ingo?", "User: How are you doing?"],
)
print(outputs)

许可证及其他说明：

此仅为量化版本，许可证条件旨在与原HuggingFace仓库相同。

原始描述

opus-mt-de-en

• 源语言: de

• 目标语言: en

• OPUS说明文档: de-en

• 数据集: opus

• 模型: transformer-align

• 预处理: 标准化 + SentencePiece

• 下载原始权重: opus-2020-02-26.zip

• 测试集翻译结果: opus-2020-02-26.test.txt

• 测试集得分: opus-2020-02-26.eval.txt

基准测试