语言: 阿拉伯语
许可证: Apache-2.0
标签:

• unsloth
• qwen3
• qwen2
• 14b
• 阿拉伯语
• 逻辑推理
• 对话式
• 指令遵循
• 文本生成
• 合并16位
  基础模型: unsloth/Qwen3-14B
  数据集:
• beetlware/arabic-reasoning-dataset-logic

Bee1reason-arabic-Qwen-14B：专为阿拉伯语逻辑推理微调的Qwen3 14B模型

模型概述

Bee1reason-arabic-Qwen-14B 是基于unsloth/Qwen3-14B（其本身源自Qwen/Qwen2-14B）微调的大型语言模型(LLM)。该模型专门针对阿拉伯语的逻辑和演绎推理能力进行了优化，同时保留了通用对话能力。微调过程采用LoRA（低秩适应）技术，并借助Unsloth库实现高效训练。最终将LoRA权重与基础模型合并，生成独立的16位(float16)精度模型。

核心特性:

• 基于unsloth/Qwen3-14B：继承140亿参数Qwen3基础模型的强大性能
• 阿拉伯语逻辑推理优化：在阿拉伯语逻辑推理任务数据集上训练
• 对话式结构：遵循用户-助手角色交互格式，训练数据可能包含<think>...</think>标签的"思考步骤"后再给出最终答案，适用于需要解释或复杂推理的任务
• Unsloth高效训练：使用Unsloth库实现更快训练速度和更低GPU内存消耗
• 合并16位模型：最终权重为完整的float16精度模型，无需额外加载LoRA适配器

训练数据

主要微调数据来自Hugging Face Hub上的自定义阿拉伯语逻辑推理数据集beetlware/arabic-reasoning-dataset-logic，包含演绎/归纳/溯因等多种推理题型。每条数据包含：

1. 用户角色：问题文本
2. 助手角色：详细解答（含<think>标签的思考步骤）和最终答案

微调细节

• 基础模型：unsloth/Qwen3-14B
• 微调技术：LoRA（低秩适应）
  • 秩(r): 32
  • lora_alpha: 32
  • 目标模块: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]
  • lora_dropout: 0
  • 偏置: "none"
• 训练库：Unsloth（高效模型加载） + Hugging Face TRL（SFTTrainer）
• 最大序列长度：2048 tokens
• 训练参数示例：
  • 单设备训练批量: 2
  • 梯度累积步数: 4（等效总批量8）
  • 预热步数: 5
  • 最大步数: 30（可调整）
  • 学习率: 2e-4（长训练建议降至2e-5）
  • 优化器: "adamw_8bit"
• 最终保存：LoRA权重与基础模型合并为float16精度的merged_16bit模型

使用指南（Transformers）

可直接加载使用：

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
import torch

model_id = "beetlware/Bee1reason-arabic-Qwen-14B"

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 加载模型
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,  # 不支持bfloat16时改用torch.float16
    device_map="auto",  # 自动分配GPU/CPU
)
model.eval()

推理示例（含思考步骤）

user_prompt = "استخدم التفكير المنطقي خطوة بخطوة: إذا كان لدي 4 تفاحات والشجرة فيها 20 تفاحة، فكم تفاحة لدي إجمالاً؟"
messages = [{"role": "user", "content": user_prompt}]
chat_prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

inputs = tokenizer(chat_prompt, return_tensors="pt").to(model.device)
streamer = TextStreamer(tokenizer, skip_prompt=True)
with torch.no_grad():
    model.generate(
        **inputs,
        max_new_tokens=512,
        temperature=0.6,
        streamer=streamer
    )

VLLM高性能推理

1. 安装：

pip install vllm

2. 启动OpenAI兼容API服务：

python -m vllm.entrypoints.openai.api_server \
    --model beetlware/Bee1reason-arabic-Qwen-14B \
    --dtype bfloat16 \
    --max-model-len 2048

3. 发送请求：

import openai
client = openai.OpenAI(base_url="http://localhost:8000/v1", api_key="dummy_key")

response = client.chat.completions.create(
    model="beetlware/Bee1reason-arabic-Qwen-14B",
    messages=[{"role": "user", "content": "اشرح نظرية النسبية العامة بكلمات بسيطة."}],
    stream=True
)
for chunk in response:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

局限性

• 性能受训练数据质量限制
• 复杂推理任务可能出错
• 可能存在训练数据中的偏见
• 非阿拉伯语能力可能有限

开发信息

• 开发团队：loai abdalslam/beetleware
• 发布日期：2025年5月21日
• 联系方式：loai.abdalsalm@beetleware.com

Beetleware公司

我们是一家成立六年的软件服务与数字化转型提供商，总部位于沙特阿拉伯。

版权所有@2025

办事处：

• 沙特办公室：(+966) 54 597 3282
• 埃及办公室：(+2) 010 67 256 306
• 阿曼办公室：(+968) 9522 8632

模型上传说明

• 开发者：beetlware AI团队
• 许可证：apache-2.0
• 基础模型：unsloth/qwen3-14b-unsloth-bnb-4bit

本qwen3模型使用Unsloth和Huggingface TRL库实现了2倍速训练。