PULI GPT 3SX

🚀 PULI 3SX base (68.5亿参数)

PULI 3SX base是一个匈牙利的GPT - NeoX模型，可用于文本生成任务。它拥有68.5亿参数，在大量数据上进行训练，能为匈牙利语相关的文本生成提供强大支持。

🚀 快速开始

若要进一步了解该模型的详细信息，请访问我们的演示网站。

✨ 主要特性

• 匈牙利GPT - NeoX模型（67亿参数）。
• 使用EleutherAI的GPT - NeoX进行训练，相关代码可查看github。
• 数据集：包含363亿个单词。
• 检查点：训练至150000步。

🔧 技术细节

限制条件

• 最大序列长度（max_seq_length） = 2048

📚 详细文档

引用说明

如果您使用此模型，请引用以下论文：

@inproceedings {yang-puli,
    title = {Jönnek a nagyok! BERT-Large, GPT-2 és GPT-3 nyelvmodellek magyar nyelvre},
	booktitle = {XIX. Magyar Számítógépes Nyelvészeti Konferencia (MSZNY 2023)},
	year = {2023},
	publisher = {Szegedi Tudományegyetem, Informatikai Intézet},
	address = {Szeged, Hungary},
	author = {Yang, Zijian Győző and Dodé, Réka and Ferenczi, Gergő and Héja, Enikő and Jelencsik-Mátyus, Kinga and Kőrös, Ádám and Laki, László János and Ligeti-Nagy, Noémi and Vadász, Noémi and Váradi, Tamás},
	pages = {247--262}
}

💻 使用示例

基础用法

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
input_ids = tokenizer(prompt, return_tensors="pt").input_ids

gen_tokens = model.generate(
    input_ids,
    do_sample=True,
    temperature=0.9,
    max_length=100,
)

gen_text = tokenizer.batch_decode(gen_tokens)[0]
print(gen_text)

高级用法

from transformers import pipeline, GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)

print(generator(prompt)[0]["generated_text"])

📄 许可证

本模型使用的许可证为CC - BY - NC - 4.0。