🚀 OpenR1-Qwen-7B-Turkish 🚀

这是基于 Qwen2.5-Instruct 在 WiroAI/dolphin-r1-turkish 数据集上微调得到的模型。该模型旨在解决一些现有模型在特定语言推理和低资源语言处理方面的问题，为社区提供更优质的开源模型。

✨ 主要特性

• 语言推理优化：DeepSeek 的蒸馏模型有时会在使用其他语言提示时用中文或英文进行推理，而本模型在土耳其语推理方面有显著提升，能更清晰地用土耳其语进行思考和推理。
• 低资源语言支持：当前开源模型在相对低资源语言上仍有提升空间，本模型致力于改善这一状况，为低资源语言的处理提供更好的解决方案。
• 社区贡献：团队有动力重现 R1 模型并为社区做出贡献，推动开源模型的发展。

📦 安装指南

暂未提供相关安装步骤。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "OpenR1-Qwen-7B-Turkish"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "$4x+5 = 6x+7$ denklemini sağlayan $x$ değerini bul."

messages = [
    {"role": "system", "content": "Lütfen adım adım düşün ve cevapla."},
    {"role": "user", "content": prompt}
]

text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    model_inputs.input_ids,
    max_new_tokens=4096
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📚 详细文档

🟢 概述

• DeepSeek 的蒸馏模型有时会在使用其他语言提示时用中文或英文进行推理。
• 开源模型在相对低资源语言上仍有提升空间。
• 团队有动力重现 R1 模型并为社区做出贡献。

🟢 训练

• 模型在 WiroAI/dolphin-r1-turkish 数据集上训练了 2 个周期。使用的学习率为 1e - 5，最大序列长度为 4096。训练采用余弦学习率调度，有 10% 的预热阶段。
• 训练在 8xA6000 ADA 集群上进行，耗时 3 天。
• 通常，R1 团队使用 lighteval 将 OpenR1 模型的性能与 DeepSeek - Distill - Qwen - 7B 和 OpenThinker - 7B 进行比较。然而，这些数据集主要面向数学领域，为避免得出不恰当的结论，默认结果暂不公开。

训练和评估代码可在以下链接找到：https://github.com/huggingface/open-r1/

🟡 评估

• 推理过程有轻微改进。与 DeepSeek 的推理模型相比，本模型在土耳其语思考方面更加清晰。
• 本模型是为实验目的而训练的，欢迎进行任何基准评估。请注意，与普通模型相比，该模型会生成更多的标记，推理过程中会消耗更多的显存。
• 如果您愿意评估此模型，请确保允许模型生成足够的标记。限制模型输出少于 4000 个标记的生成请求会导致结果不佳。
• 团队相信，通过共享和实验，民主化和文化上改进的开源模型将不断发展！

🔧 技术细节

• 训练数据：使用 WiroAI/dolphin-r1-turkish 数据集进行训练。
• 训练参数：训练 2 个周期，学习率 1e - 5，最大序列长度 4096，采用余弦学习率调度，10% 预热阶段。
• 训练环境：在 8xA6000 ADA 集群上训练 3 天。

📄 许可证

本模型采用 Apache 2.0 许可证。您可以在以下链接查看许可证详情：License

🤗 社区

感谢 Huggingface 工作人员以及所有为 Open - R1 项目做出贡献的人！

引用

@article{WiroAI,
  title={WiroAI/OpenR1-Qwen-7B-Turkish},
  author={Abdullah Bezir, Cengiz Asmazoğlu},
  year={2025},
  url={https://huggingface.co/WiroAI/OpenR1-Qwen-7B-Turkish}
}

⚠️ 重要提示

• 本模型是为实验目的而训练的，与普通模型相比，会生成更多的标记，推理过程中会消耗更多的显存。
• 如果您要评估此模型，请确保允许模型生成足够的标记，限制模型输出少于 4000 个标记的生成请求会导致结果不佳。

💡 使用建议

在使用模型进行推理时，尽量为模型提供足够的显存和生成标记的空间，以获得更好的推理结果。