模型基础信息

基础模型: DiscoResearch/DiscoLM-70b  
数据集:  
- Open-Orca/SlimOrca-Dedup  
- teknium/openhermes  
- meta-math/MetaMathQA  
- migtissera/Synthia-v1.3  
- THUDM/AgentInstruct  
- LeoLM/German_Songs  
- LeoLM/German_Poems  
- LeoLM/OpenSchnabeltier  
- bjoernp/ultrachat_de  
推理: 不支持  
支持语言:  
- 英语  
- 德语  
库名称: transformers  
许可证: llama2  
模型创建者: Disco Research  
模型名称: DiscoLM 70B  
模型类型: llama  
任务标签: 文本生成  
提示模板:  

<|im_start|>system
{system_message}<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

量化支持: TheBloke  
标签:  
- goliath  
- deutsch  
- llama2  
- discoresearch  

模型描述

本仓库包含Disco Research的DiscoLM 70B的GGUF格式模型文件，由Massed Compute提供硬件支持进行量化。

关于GGUF

GGUF是llama.cpp团队于2023年8月21日推出的新格式，用于替代不再支持的GGML格式。支持GGUF的客户端和库包括llama.cpp、text-generation-webui、KoboldCpp、GPT4All等。

可用仓库

• AWQ模型（GPU推理）
• GPTQ模型（GPU推理，多量化参数选项）
• 2至8位GGUF模型（CPU+GPU推理）
• 原始未量化fp16模型（PyTorch格式）

提示模板

使用ChatML格式：

<|im_start|>system  
{system_message}<|im_end|>  
<|im_start|>user  
{prompt}<|im_end|>  
<|im_start|>assistant  

兼容性

量化GGUFv2文件兼容2023年8月27日后的llama.cpp及多个第三方UI和库。

量化方法说明

• GGML_TYPE_Q2_K：超级块含16个块，每块16权重，4位量化缩放和最小值，有效2.5625位/权重
• GGML_TYPE_Q3_K：超级块含16个块，每块16权重，6位量化缩放，有效3.4375位/权重
• GGML_TYPE_Q4_K：超级块含8个块，每块32权重，6位量化缩放和最小值，有效4.5位/权重
• GGML_TYPE_Q5_K：超级块结构同Q4_K，有效5.5位/权重
• GGML_TYPE_Q6_K：超级块含16个块，每块16权重，8位量化缩放，有效6.5625位/权重

提供的文件

注意：Q6_K和Q8_0文件因超过50GB被分割，需合并使用。

下载指南

通过huggingface-hub库下载：

huggingface-cli download TheBloke/DiscoLM-70B-GGUF discolm-70b.Q4_K_M.gguf

运行示例

使用llama.cpp运行：

./main -ngl 35 -m discolm-70b.Q4_K_M.gguf --color -c 8192 --temp 0.7 -p "<|im_start|>system\n{system_message}<|im_end|>\n<|im_start|>user\n{prompt}<|im_end|>\n<|im_start|>assistant"

原始模型说明

DiscoLM 70B基于LeoLM 70B，通过650亿token的德语继续预训练增强多语言能力，同时保持英语能力。训练由HessianAI提供算力支持。

基准测试

• HF排行榜平均分: 71.24（ARC 68.77, HellaSwag 85.41, MMLU 68.64等）
• FastEval: GSM8K 70.6, Math 17.8, BBH 63.4
• MTBench: 平均7.48分

数据集

包含SlimOrca-Dedup、OpenHermes、MetaMathQA等优质数据集。

免责声明

本模型许可证不构成法律建议，仅限研究使用，需遵守原始Llama2许可证及数据集限制。

项目联系：通过Discord交流。
特别感谢：LAION、TheBloke、Axolotl等团队的支持。