基础模型:

• Qwen/Qwen2.5-32B 库名称: transformers 标签:
• mergekit
• 合并 许可证: apache-2.0

Virtuoso-Medium-v2 (32B) 是我们基于原始Virtuoso-Medium架构打造的下一代320亿参数语言模型。该版本从Deepseek-v3蒸馏而来，利用了超过50亿标记的扩展数据集进行logits提取。其基准测试成绩超越了我们的前代版本（包括在某些任务中超过Arcee-Nova 2024）。

GGUF量化版本

量化模型可在此处获取 点击查看

模型详情

• 基础架构: Qwen-2.5-32B
• 参数量: 320亿
• 分词器:
  • 初始集成Deepseek-v3分词器用于logits提取
  • 最终对齐使用Qwen分词器，通过专用"分词器手术"实现跨架构兼容
• 蒸馏数据:
  • 来自Deepseek-v3训练数据的约11亿标记/logits
  • 采用专有"融合合并"方法进行logit级蒸馏以确保最高保真度
• 许可证: Apache-2.0

Deepseek蒸馏背景

以Deepseek-v3作为教师模型，我们从中提取了数十亿标记的logits。不同于标准监督微调，我们实施了完整的logit级复现。这种方法能更精准地传递知识，包括以下领域的进阶推理能力：

• 科技与科学查询
• 复杂代码生成
• 数学问题求解

适用场景

• 高级聊天机器人&虚拟助手
• 企业数据分析&工作流自动化
• 科研模拟&自然语言理解
• STEM教育工具

评估表现

使用示例

以下是使用transformers库的示例代码：

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "arcee-ai/Virtuoso-Medium-v2"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

prompt = "请简要概括量子纠缠现象。"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_new_tokens=150)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

训练流程

• 初始训练: 基于Qwen-32B架构，针对大规模文本处理进行校准
• 蒸馏与合并:
  • 使用约11亿Deepseek-v3的logits进行训练
  • 采用"融合合并"技术最大限度保留教师模型专长
  • 最终通过DPO优化对齐效果并减少幻觉生成
• 持续开发: 正在进行R1阶段蒸馏以进一步提升专业性能

性能表现

得益于更大参数量和更丰富的训练语料，Virtuoso-Medium-v2在多项基准测试（BBH、MMLU-PRO、MATH等）中表现优异。在特定任务中经常超越其他300亿+参数模型，甚至部分700亿+架构。

局限性

• 上下文长度: 128k标记
• 知识截止: 训练数据未包含2024年6月后的最新事件与发展

伦理声明

• 内容生成风险: 与所有语言模型类似，在特定提示下可能生成有害或有偏见的内容

许可证

Virtuoso-Medium-v2 (32B) 采用 Apache-2.0许可证发布。您可自由使用、修改和分发本模型（包括商业用途），需遵守许可证条款。

如有疑问或使用反馈，欢迎通过社交媒体联系我们。期待见证您的创新成果！