基础模型: Qwen/Qwen2.5-7B-Instruct 标签:

• 文本生成推理
• 转换器
• Unsloth框架
• qwen2系列
• 强化学习训练
• 伽马语料库
• 苏黎世模型
• 聊天功能
• 对话系统 许可证: Apache-2.0 语言:
• 英语 数据集:
• rubenroy/GammaCorpus-v2-100k 管道标签: 文本生成 库名称: 转换器

苏黎世7B伽马语料库v2-100k版

基于伽马语料库微调的Qwen 2.5模型

概述

苏黎世7B伽马语料库v2-100k是基于阿里巴巴Qwen 2.5 7B Instruct模型的微调版本。该模型旨在超越同尺寸的其他模型，并充分展现伽马语料库v2-100k的优势。

模型详情

• 基础模型: Qwen/Qwen2.5-7B-Instruct
• 类型: 因果语言模型
• 架构: 采用旋转位置编码(RoPE)、SwiGLU激活函数、RMSNorm归一化及注意力QKV偏置的转换器结构
• 参数量: 76.1亿
• 非嵌入参数量: 65.3亿
• 层数: 28
• 注意力头数(GQA): Q头28个/KV头4个

训练详情

使用1块T4显卡通过Unsloth框架进行约70分钟的微调训练，共完成60轮迭代。

使用指南

环境要求

强烈建议安装最新版transformers库：

pip install transformers

快速开始

以下是通过apply_chat_template加载模型并生成内容的示例代码：

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "rubenroy/Zurich-7B-GCv2-100k"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "埃菲尔铁塔有多高？"
messages = [
    {"role": "系统", "content": "你是苏黎世——基于阿里巴巴云开发的Qwen 2.5 7B模型、经Ruben Roy微调的AI助手。你是一个乐于助人的助手。"},
    {"role": "用户", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

关于伽马语料库

本模型及所有苏黎世系列模型均使用伽马语料库训练。该数据集包含经过结构化处理的多轮对话，现有四个版本：

伽马语料库v1

• 未过滤10k版
• 未过滤50k版
• 未过滤70k版

完整数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-v1-67935e4e52a04215f15a7a60

伽马语料库v2

• 10k版
• 50k版
• 100k版（当前模型训练版本）
• 500k版
• 1m版
• 5m版

完整数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-v2-67935e895e1259c404a579df

伽马语料库思维链版

• 数学170k版

数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-cot-6795bbc950b62b1ced41d14f

伽马语料库问答版

• 事实450k版

数据集集合链接：
https://huggingface.co/collections/rubenroy/gammacorpus-qa-679857017bb3855234c1d8c7

完整伽马语料库集合链接请访问：此处

已知限制

• 偏见问题: 我们已尽力减少偏见，但模型仍可能生成带有偏见的回答。

附加信息

许可声明

本模型采用**Apache 2.0许可证**发布，请遵守许可证规定的使用权限和限制条款。