base_model: Qwen/Qwen2.5-14B-Instruct tags:

• 文本生成推理
• 变换器
• unsloth
• qwen2
• trl
• 伽马语料库
• 苏黎世
• 聊天
• 对话 license: apache-2.0 language:
• 英文 datasets:
• rubenroy/GammaCorpus-v2-10k pipeline_tag: 文本生成 library_name: transformers

苏黎世14B伽马语料库v2-10k

基于伽马语料库微调的Qwen 2.5模型

概述

苏黎世14B伽马语料库v2-10k是对阿里巴巴Qwen 2.5 14B Instruct模型的微调版本。该模型旨在超越同规模的其他模型，同时展示伽马语料库v2-10k的潜力。

模型详情

• 基础模型: Qwen/Qwen2.5-14B-Instruct
• 类型: 因果语言模型
• 架构: 采用RoPE、SwiGLU、RMSNorm及注意力QKV偏置的变换器
• 参数量: 147亿
• 非嵌入参数量: 131亿
• 层数: 48
• 注意力头数(GQA): Q头40个，KV头8个

训练详情

苏黎世14B-GCv2-10k使用1块A100显卡进行了约10分钟的微调训练，采用Unsloth框架，共训练60个周期。

使用指南

环境要求

强烈建议使用最新版transformers库，可通过以下命令安装：

pip install transformers

快速开始

以下代码片段演示了如何使用apply_chat_template加载分词器与模型，并生成内容：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "rubenroy/Zurich-14B-GCv2-10k"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "埃菲尔铁塔有多高？"
messages = [
    {"role": "system", "content": "你是苏黎世，一个基于阿里巴巴云开发的Qwen 2.5 14B模型并由Ruben Roy微调的AI助手。你是一个乐于助人的助手。"},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

关于伽马语料库

本模型及所有苏黎世系列模型均采用伽马语料库训练。伽马语料库是HuggingFace上的结构化多轮对话数据集，包含多个版本：

伽马语料库v1

• 未过滤10k条
• 未过滤50k条
• 未过滤70k条

完整GCv1数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-v1-67935e4e52a04215f15a7a60

伽马语料库v2

• 10k（当前模型采用的版本）
• 50k
• 100k
• 500k
• 1m
• 5m

完整GCv2数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-v2-67935e895e1259c404a579df

伽马语料库CoT

• 数学170k条

完整GC-CoT数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-cot-6795bbc950b62b1ced41d14f

伽马语料库QA

• 事实450k条

完整GC-QA数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-qa-679857017bb3855234c1d8c7

完整伽马语料库集合链接请访问此处。

已知限制

• 偏见: 我们已尽力减少偏见，但模型仍可能生成带有偏见的回答。

附加信息

许可声明

本模型基于**Apache 2.0许可证**发布，请参阅许可证了解使用权限与限制。