许可证：llama2
语言：

• 匈牙利语（hu）
• 英语（en）
  标签：
• puli

PULI LlumiX 32K 基础版（67.4亿参数）

如需了解更多详情或测试我们的指导模型，请访问演示网站。

• 使用OpenChatKit训练 GitHub
• 基于LLaMA-2-7B-32K模型，在匈牙利语数据集上持续预训练
• 通过位置插值将模型上下文长度扩展至32K
• 检查点：100,000步

持续预训练数据集

• 匈牙利语：79亿词，包含763,000篇长度超过5,000词的文档
• 英语：长上下文问答（20亿词）、BookSum（7800万词）

限制

• 最大序列长度：32,768
• 浮点精度：float16
• 词汇表大小：32,000

使用管道调用

from transformers import pipeline, LlamaForCausalLM, LlamaTokenizer  

model = LlamaForCausalLM.from_pretrained("NYTK/PULI-LlumiX-32K")  
tokenizer = LlamaTokenizer.from_pretrained("NYTK/PULI-LlumiX-32K")  
prompt = "我要讲述一个关于语言技术的故事。"  
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)  

print(generator(prompt, max_new_tokens=30)[0]["generated_text"])