许可证：llama3
语言：

• tr
  任务标签：文本生成
  基础模型：meta-llama/Meta-Llama-3-8B
  标签：
• 土耳其语
• turkish
• Llama
• Llama3

Cosmos LLaMa

该模型是基于LLaMA-3 8B模型，使用30GB土耳其语数据集进行完整微调的版本。

Cosmos LLaMa专为文本生成任务设计，能够以连贯且符合上下文的方式延续给定的文本片段。由于训练数据来源多样（包括网站、书籍等文本），该模型可能表现出某些偏见。用户应意识到这些偏见并负责任地使用模型。

使用示例

以下是在Colab中使用该模型的示例：

!pip install -U accelerate bitsandbytes  

import torch  
from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM  
from transformers import BitsAndBytesConfig  
import time  

model_name = "ytu-ce-cosmos/Turkish-Llama-8b-v0.1"  

bnb_config = BitsAndBytesConfig(  
    load_in_8bit=True,  
    bnb_8bit_compute_dtype=torch.bfloat16,  
    load_in_8bit_fp32_cpu_offload=True,  
    device_map = 'auto'  
)  

tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    device_map="auto",  
    torch_dtype=torch.bfloat16,  
    quantization_config=bnb_config,  
)  

text_generator = pipeline(  
    "text-generation",  
    model=model,  
    tokenizer=tokenizer,  
    device_map="auto",  
    temperature=0.3,  
    repetition_penalty=1.1,  
    top_p=0.9,  
    max_length=610,  
    do_sample=True,  
    return_full_text=False,  
    min_new_tokens=32  
)  

text = """关于人工智能写3点看法。\n"""  

r = text_generator(text)  

print(r[0]['generated_text'])  

"""  
1. 人工智能（AI）是使机器能够执行类似人类认知功能的技术领域。  
2. 人工智能的开发和应用为从医疗保健到娱乐等多个行业提供了大量机遇。  
3. 尽管人工智能技术的潜在益处显著，但也存在隐私、失业和伦理问题等担忧。  
"""  

致谢

• 感谢Hugging Face团队的慷慨支持，可以从他们的S3存储下载模型 🤗
• 本工作中使用的计算资源由土耳其国家高性能计算中心（UHeM）提供，资助编号为1016912023和1018512024
• 研究得到了Google TPU研究云（TRC）提供的Cloud TPU支持

联系方式

COSMOS AI研究小组，伊斯坦布尔理工大学计算机工程系
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr

引用

@inproceedings{kesgin2024optimizing,  
  title={Optimizing Large Language Models for Turkish: New Methodologies in Corpus Selection and Training},  
  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and {\.I}nce, Elif and Erdem, Yusuf and Shbib, Osama and Zeer, Ahmed and Amasyali, M Fatih},  
  booktitle={2024 Innovations in Intelligent Systems and Applications Conference (ASYU)},  
  pages={1--6},  
  year={2024},  
  organization={IEEE}  
}  

许可证：llama3