许可证：apache-2.0
标签：

• 大语言模型
• Mistral
• 英特尔
  任务类型：文本生成
  基础模型：mistralai/Mistral-7B-v0.1

模型索引：

• 名称：neural-chat-7b-v3-1
  测试结果：
  • 任务类型：大语言模型
    数据集：Open-Orca/SlimOrca
    指标：
    • ARC（25样本）：66.21（已验证）
    • HellaSwag（10样本）：83.64（已验证）
    • MMLU（5样本）：62.37（已验证）
    • TruthfulQA（0样本）：59.65（已验证）
    • Winogrande（5样本）：78.14（已验证）
    • GSM8K（5样本）：19.56（已验证）
    • DROP（3样本）：43.84（已验证）

数据集：Open-Orca/SlimOrca
语言：英文

模型详情：Neural-Chat-v3-1

本模型是基于mistralai/Mistral-7B-v0.1在英特尔Gaudi 2处理器上微调的70亿参数大语言模型，使用开源数据集Open-Orca/SlimOrca。模型通过直接性能优化（DPO）方法Intel/orca_dpo_pairs进行对齐。更多信息请参阅Medium文章《英特尔Gaudi2上的监督微调与直接偏好优化实践》。

图片来自Google DeepMind（Unsplash）

使用指南

上下文长度：8192 tokens（与基础模型一致）

训练超参数

• 学习率：1e-04
• 训练批次大小：1（总批次64）
• 优化器：Adam
• 训练周期：2

复现模型

完整代码见GitHub示例。关键步骤：

# 构建Docker环境后运行微调脚本（8卡Gaudi2）  
deepspeed --include localhost:0-7 finetune_neuralchat_v3.py  
# 合并LoRA权重  
python apply_lora.py --base-model-path mistralai/Mistral-7B-v0.1 --output-path finetuned_model_lora  

推理示例

FP32模式

# 加载模型生成数学解题步骤  
response = generate_response("你是一名数学专家", "计算100+520+60")  
# 输出分步解答过程  

BF16优化（英特尔扩展）

model = ipex.optimize(model, dtype=torch.bfloat16)  # 启用硬件加速  

INT4量化

config = WeightOnlyQuantConfig(compute_dtype="bf16", weight_dtype="int4")  
model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=config)  

量化测试

通过英特尔PyTorch扩展可验证模型量化效果，例如：

• 原始模型大小：27625.02 MB
• INT4量化后：4330.80 MB
  测试代码详见文档提供的ipex_test.py脚本。

性能对比

伦理声明

该模型可能产生事实性错误或偏见内容，部署前需进行安全测试。开发者应遵守Apache 2.0许可证法律条款。

更多英特尔AI工具：

• 神经压缩器
• Transformer扩展库