license: gpl-3.0

CausalLM 34B β测试版

演示链接:

提示词格式:

采用chatml规范

当前模型权重存在精度问题。我们将在下个版本更新中回退部分进度并重新训练以尽快修复。

重要提示: 请暂时不要使用VLLM等"加速推理框架"，建议使用Transformers进行推理。由于精度问题，使用加速框架会导致输出质量显著下降。如需加速推理，可暂时考虑使用llama.cpp的q8_0量化方案（仅对本模型而言比bf16 vllm更快更好），或等待正式版本发布。 该问题将在下个版本更新中修复。

请勿使用重复惩罚参数！

量化校准时请勿使用wikitext数据集，因其所有内容已在合成数据集上重新对齐，数据分布与原版wikitext存在显著差异。

MT-Bench评分: 8.5

污染检测参考数据（可选查阅）:

数据来源：https://huggingface.co/spaces/Yeyito/llm_contamination_detector

该模型应属安全范畴。虽然未在基准测试集上训练，但由于成本限制，训练数据集的微量污染不可避免。