🚀 Dragoman：英乌机器翻译模型

Dragoman 是一款句级别的最先进英乌翻译模型，它能有效解决英文到乌克兰语的句子翻译问题，为相关领域提供了高质量的翻译解决方案。

🚀 快速开始

运行模型

# pip install bitsandbytes transformers peft torch
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftConfig, PeftModel
import torch

config = PeftConfig.from_pretrained("lang-uk/dragoman")
quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=False,
)

model = AutoModelForCausalLM.from_pretrained(
    "mistralai/Mistral-7B-v0.1", quantization_config=quant_config
)
model = PeftModel.from_pretrained(model, "lang-uk/dragoman").to("cuda")
tokenizer = AutoTokenizer.from_pretrained(
    "mistralai/Mistral-7B-v0.1", use_fast=False, add_bos_token=False
)

input_text = "[INST] who holds this neighborhood? [/INST]" # 模型输入应遵循此格式
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids, num_beams=10)
print(tokenizer.decode(outputs[0]))

在苹果电脑上使用 mlx - lm 运行模型

我们将 Dragoman PT 适配器合并到基础模型中，并将模型的量化版本上传到了 https://huggingface.co/lang-uk/dragoman-4bit。你可以使用 mlx - lm 运行该模型。

python -m mlx_lm.generate --model lang-uk/dragoman-4bit --prompt '[INST] who holds this neighborhood? [/INST]' --temp 0 --max-tokens 100

MLX 是在配备 M1 芯片及更新版本的苹果电脑上使用该语言模型的推荐方式。

使用 llama.cpp 运行模型

我们将 Dragoman PT 适配器转换为 GGLA 格式。你可以下载 GGUF 格式的 Mistral - 7B - v0.1 基础模型（例如 mistral - 7b - v0.1.Q4_K_M.gguf），并像这样使用此仓库中的 ggml - adapter - model.bin：

./main -ngl 32 -m mistral-7b-v0.1.Q4_K_M.gguf --color -c 4096 --temp 0 --repeat_penalty 1.1 -n -1 -p "[INST] who holds this neighborhood? [/INST]" --lora ./ggml-adapter-model.bin

✨ 主要特性

• Dragoman 是句级别的最先进英乌翻译模型，采用两阶段训练流程，先在清理后的 Paracrawl 数据集上进行预训练，再在 turuta/Multi30k - uk 上进行无监督数据选择阶段的训练。
• 通过两阶段的数据清理和数据选择方法，在 FLORES - 101 英乌开发测试子集上实现了 SOTA 性能，BLEU 达到 32.34。

📦 安装指南

运行模型前，你需要安装相关依赖：

pip install bitsandbytes transformers peft torch

📚 详细文档

模型详情

模型用例

本模型专为句级别的英语到乌克兰语翻译而设计，不保证在多句文本上的性能，请知悉。

训练数据集和资源

• 训练代码：lang - uk/dragoman
• 清理后的 Paracrawl：lang - uk/paracrawl_3m
• 清理后的 Multi30K：lang - uk/multi30k - extended - 17k

FLORES - 101 开发集上与其他模型的基准测试结果

📄 许可证

本模型使用 Apache 2.0 许可证。

🔧 技术细节

本模型采用两阶段训练流程：

1. 预训练阶段：在清理后的 Paracrawl 数据集上进行预训练。
2. 无监督数据选择阶段：在 turuta/Multi30k - uk 上进行无监督数据选择阶段的训练。通过这种两阶段的数据清理和数据选择方法，在 FLORES - 101 英乌开发测试子集上实现了 SOTA 性能。

📚 引用

@inproceedings{paniv-etal-2024-dragoman,
    title = "Setting up the Data Printer with Improved {E}nglish to {U}krainian Machine Translation",
    author = "Paniv, Yurii  and
      Chaplynskyi, Dmytro  and
      Trynus, Nikita  and
      Kyrylov, Volodymyr",
    editor = "Romanyshyn, Mariana  and
      Romanyshyn, Nataliia  and
      Hlybovets, Andrii  and
      Ignatenko, Oleksii",
    booktitle = "Proceedings of the Third Ukrainian Natural Language Processing Workshop (UNLP) @ LREC-COLING 2024",
    month = may,
    year = "2024",
    address = "Torino, Italia",
    publisher = "ELRA and ICCL",
    url = "https://aclanthology.org/2024.unlp-1.6",
    pages = "41--50",
    abstract = "To build large language models for Ukrainian we need to expand our corpora with large amounts of new algorithmic tasks expressed in natural language. Examples of task performance expressed in English are abundant, so with a high-quality translation system our community will be enabled to curate datasets faster. To aid this goal, we introduce a recipe to build a translation system using supervised finetuning of a large pretrained language model with a noisy parallel dataset of 3M pairs of Ukrainian and English sentences followed by a second phase of training using 17K examples selected by k-fold perplexity filtering on another dataset of higher quality. Our decoder-only model named Dragoman beats performance of previous state of the art encoder-decoder models on the FLORES devtest set.",
}

⚠️ 重要提示 本模型专为句级别的英语到乌克兰语翻译而设计，不保证在多句文本上的性能。

💡 使用建议 运行模型时，请确保输入遵循 [INST] ... [/INST] 格式。