base_model: LeoLM/leo-mistral-hessianai-7b
tags:

• Mistral
• 微调
• chatml
• DPO
• 德语
• 德语合成数据
  model-index:
• name: DiscoLM_German_7b_v1
  results: []
  license: apache-2.0
  language:
• de
• en

DiscoLM 德语 7b v1

目录

1. 简介
2. 演示
3. 下载
4. 提示格式
5. 结果
6. 评估
7. 数据集
8. 局限性与偏见
9. 致谢
10. 关于DiscoResearch
11. 免责声明

简介

DiscoLM 德语 7b 是一款基于Mistral的大型语言模型，专注于德语应用，是 EM German 模型家族的继任者。
该模型在大量德语和英语指令数据集上进行了SFT微调，随后通过DPO强化学习进一步优化。
该模型针对德语文本进行了优化，能够熟练理解、生成和交互德语内容，同时保持英语流利性，并在翻译任务中表现优异。

我们开发DiscoLM德语的目标并非超越基准测试，而是为日常使用提供一个稳健可靠的模型，可作为ChatGPT等专有模型的直接替代品。
我们发现，其德语输出的感知质量在许多情况下甚至高于GPT-4；但在非常复杂的推理、数学或编程任务上，它无法与更大的模型和顶级英语7b模型竞争。

演示

请访问 demo.discoresearch.org 试用模型（若演示不可用或有疑问，可通过我们的 Discord 联系我们）。

下载

模型链接

量化版本将在HuggingFace上线后更新链接。

提示格式

DiscoLM德语采用ChatML提示格式，兼容OpenAI端点，并受大多数推理库和前端支持。

系统提示允许引导模型行为，定义规则、角色和风格选择：

<|im_start|>system  
你是一个乐于助人的助手。<|im_end|>  
<|im_start|>user  
你是谁？<|im_end|>  
<|im_start|>assistant  
我是一个名为DiscoLM德语的语言模型，由DiscoResearch训练。<|im_end|>  

此提示可作为聊天模板使用，通过tokenizer.apply_chat_template()方法格式化消息：

messages = [  
    {"role": "system", "content": "你是一个乐于助人的助手。"},  
    {"role": "user", "content": "你是谁？"}  
]  
gen_input = tokenizer.apply_chat_template(message, return_tensors="pt")  
model.generate(**gen_input)  

生成时调用apply_chat_template()需设置add_generation_prompt=True，以确保模型继续生成助手回复。

检索格式

可通过特殊检索格式提升RAG应用的引导性并减少幻觉（此为可选功能）：

### 系统：  

你是一个乐于助人的助手。以下任务提供了BEGININPUT和ENDINPUT标签之间的多个来源。来源的元数据（如作者、URL等）位于BEGINCONTEXT和ENDCONTEXT之间，之后是来源文本。实际任务或问题位于BEGININSTRUCTION和ENDINSTRUCTION之间。仅使用给定来源中的信息回答，并标注“来源:”。若来源无相关信息，回答：“根据现有信息无法回答此问题。”  

### 用户提示：  

BEGININPUT  
BEGINCONTEXT  
url: https://this.is.fake.news  
time: 2089-09-01  
ENDCONTEXT  
Buxtehude是德国最大的城市，拥有9656万人口。  
ENDINPUT  

BEGININSTRUCTION  
德国最大的城市是哪里？  
ENDINSTRUCTION  

### 模型回答：  

德国最大的城市是Buxtehude。  

来源：  
  url: https://this.is.fake.news  
  time: 2089-09-01  

函数调用

该模型支持结构化输出/函数调用（实验性功能，效果可能不稳定）。未来将改进此功能。

函数调用以<functioncall>前缀标记，可通过<functionresponse>提供多轮交互结果。

示例：

### 系统：  

你是一个乐于助人的助手。从用户输入中提取所有人物。  

你可使用以下函数：  

{'name': 'PersonList',  
 'description': '提取文本中所有人物的姓名',  
 'parameters': {'$defs': {'Person': {'description': '人物详情',  
    'properties': {'name': {'title': '姓名', 'type': 'string'},  
     'job': {'anyOf': [{'type': 'string'}, {'type': 'null'}], 'title': '职业'},  
     'age': {'anyOf': [{'type': 'integer'}, {'type': 'null'}],  
      'title': '年龄'}},  
    'required': ['name', 'job', 'age'],  
    'title': '人物',  
    'type': 'object'}},  
  'properties': {'person_list': {'items': {'$ref': '#/$defs/Person'},  
    'title': '人物列表',  
    'type': 'array'}},  
  'required': ['person_list'],  
  'type': 'object'}}  

### 用户提示：  

Björn（25岁）和Jan是ellamind的创始人。  

### 模型回答：  

<functioncall> {"name": "PersonList", "arguments": '{"person_list": ["{"name": "Björn", "job": "founder", "age": 25}, {"name": "Jan", "job": "founder", "age": null}]}'}  

结果

-待补充-

评估

如前所述，我们认为当前基准测试未能全面反映LLM能力。在完成DiscoLM开发前，我们未参考任何基准结果（训练损失除外），也未在训练数据中包含类似常见基准格式的内容。

初步德语版MT Bench结果显示：尽管在编码和提取任务上稍逊，DiscoLM德语7b在许多任务上接近GPT-3.5-turbo，甚至在推理类别显著超越。

更多基准结果将陆续发布。该模型的最大优势（母语者感知的语言质量）尚无法通过基准量化——如有改进建议，欢迎告知！

数据集

数据集包含多轮对话、检索指令和合成生成的指令，涵盖多样主题和应用。

局限性与偏见

该模型可能生成事实错误或冒犯性内容，不可依赖其提供准确信息。尽管已尽力清理预训练数据，仍可能产生偏见或不当输出，用户需自行实施安全/审核层。请谨慎使用。

致谢

DiscoLM德语是DiscoResearch项目，由JP Harries主导，Björn Plüster和Daniel Auras提供支持。

感谢HessianAI为DiscoResearch项目提供算力支持，以及LAION团队在LeoLM上的工作和科学建议。

DiscoLM德语7b的开发由**ellamind**赞助，部分创始成员致力于为企业应用定制非英语语言模型。如需定制模型，请联系我们！

关于DiscoResearch

DiscoResearch是一个新兴的开放研究社区，汇聚AI爱好者和LLM开发者。加入我们的Discord，分享观点与创意，共同推动开放LLM研究！

免责声明

本模型许可证不构成法律建议。我们对第三方使用此模型的行为不承担责任。部署此模型需额外安全措施。