数据集:

• oscar-corpus/OSCAR-2301
• 维基百科
• bjoernp/tagesschau-2018-2023 语言:
• 英语
• 德语 库名称: transformers 管道标签: 文本生成 许可证: apache-2.0

LAION LeoLM：语言增强型开放语言模型

隆重推出LeoLM-Mistral，这是首个基于Mistral 7b构建、可公开商用德语基础语言模型。我们通过对大规模德语语料（主要包含地域特色文本）持续预训练，成功将Llama-2的能力拓展至德语领域。得益于HessianAI新型超级计算机42提供的算力支持，我们发布了三个支持8k上下文长度的基础模型：LeoLM/leo-mistral-hessianai-7b（Apache 2.0许可）以及LeoLM/leo-hessianai-7b和LeoLM/leo-hessianai-13b（采用Llama-2社区许可，70b版本即将推出👀）。本次发布旨在推动德语开源及商用LLM研究的新浪潮，加速技术落地。更多细节请参阅我们的博客文章或即将发布的预印版论文。

本项目由Björn Plüster与Christoph Schuhmann联合LAION和HessianAI共同开发。

模型详情

• 基础模型: mistralai/Mistral-7B-v0.1
• 模型类型: 仅解码器因果变换器语言模型
• 支持语言: 英语、德语
• 许可证: Apache 2.0
• 联系方式: LAION Discord 或 Björn Plüster

在🤗Transformers中使用

首先安装直接依赖：

pip install transformers torch accelerate

如需启用flash-attention2加速推理，需额外安装：

pip install packaging ninja
pip install flash-attn

随后加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-mistral-hessianai-7b",
    device_map="auto",
    torch_dtype=torch.bfloat16,
    use_flash_attn_2=True # 可选
)

训练参数

注意：Mistral训练采用学习率从1e-5逐步降至1e-6，使用Zero stage 3优化及bfloat16精度。

基准测试