数据集：

• oscar-corpus/OSCAR-2301
• 维基百科
• bjoernp/tagesschau-2018-2023 语言：
• 英语
• 德语 库名称：transformers 管道标签：文本生成

LAION LeoLM：语言增强型开放语言模型

欢迎了解LeoLM，这是首个基于Llama-2构建的开放且可商用的德语基础语言模型。我们的模型通过在大量德语文本（主要是特定地区的文本）上持续预训练，将Llama-2的能力扩展至德语领域。得益于HessianAI新超级计算机42的计算资源支持，我们发布了两个上下文长度为8k的基础模型：LeoLM/leo-hessianai-7b和LeoLM/leo-hessianai-13b，它们遵循Llama-2社区许可协议（70b版本即将推出！👀）。通过此次发布，我们希望为德语开源和商业大语言模型研究带来新的机遇，并加速其应用。更多详情，请阅读我们的博客文章或即将发布的预印本论文！

该项目由Björn Plüster和Christoph Schuhmann与LAION和HessianAI合作完成。

模型详情

• 微调自：meta-llama/Llama-2-13b-hf
• **模型类型：**仅解码器的因果变换器语言模型
• **语言：**英语和德语
• 许可协议：LLAMA 2社区许可协议
• 联系方式：LAION Discord或Björn Plüster

在🤗Transformers中使用

首先安装直接依赖：

pip install transformers torch sentencepiece

如果想使用flash-attention2进行更快的推理，需要安装以下依赖：

pip install packaging ninja
pip install flash-attn==v2.1.1 --no-build-isolation
pip install git+https://github.com/HazyResearch/flash-attention.git@v2.1.1#subdirectory=csrc/rotary

然后在transformers中加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-hessianai-13b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # 使用flash-attn2时为True，否则为False
)

训练参数

基准测试