数据集:

• oscar-corpus/OSCAR-2301
• 维基百科
• bjoernp/tagesschau-2018-2023 语言:
• 英语
• 德语 库名称: transformers 管道标签: 文本生成

LAION LeoLM：语言增强型开放语言模型

欢迎了解LeoLM，这是首个基于Llama-2构建的开放且可商用的德语基础语言模型。我们的模型通过在大量德语文本（主要是地域特定内容）上持续预训练，将Llama-2的能力扩展至德语领域。得益于HessianAI新型超级计算机42提供的算力资助，我们发布了两个支持8k上下文长度的基础模型：LeoLM/leo-hessianai-7b和LeoLM/leo-hessianai-13b，均遵循Llama-2社区许可协议（70b版本即将推出！👀）。通过此次发布，我们希望能为德语开源和商业LLM研究带来新机遇并加速应用落地。更多细节请阅读我们的博客文章或即将发布的预印版论文！

本项目由Björn Plüster与Christoph Schuhmann合作开发，联合LAION和HessianAI共同推出。

模型详情

• 基础模型: meta-llama/Llama-2-7b-hf
• 模型类型: 仅解码器架构的因果变换器语言模型
• 支持语言: 英语和德语
• 许可协议: LLAMA 2社区许可协议
• 联系方式: LAION Discord 或 Björn Plüster

在🤗Transformers中使用

首先安装直接依赖：

pip install transformers torch sentencepiece

若需使用flash-attention2加速推理，请安装以下依赖：

pip install packaging ninja
pip install flash-attn==v2.1.1 --no-build-isolation
pip install git+https://github.com/HazyResearch/flash-attention.git@v2.1.1#subdirectory=csrc/rotary

随后通过transformers加载模型：

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained(
    model="LeoLM/leo-hessianai-7b",
    device_map="auto",
    torch_dtype=torch.float16,
    trust_remote_code=True  # 使用flash-attn2时设为True，否则为False
)

训练参数

基准测试