数据集:

• togethercomputer/RedPajama-Data-V2 语言:
• 德语 任务标签: 文本生成 库名称: transformers 许可证: 其他

LLäMmlein 1B 模型

这是一个基于Tinyllama代码框架、使用RedPajama V2德语语料从头训练的德语Tinyllama 1B语言模型。更多细节请访问我们的项目页面和查看预印本论文！

使用方式

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("LSX-UniWue/LLaMmlein_1B")

tokenizer = AutoTokenizer.from_pretrained("LSX-UniWue/LLaMmlein_1B")

评估结果

我们在SuperGLEBer基准测试上评估了模型性能。