许可证：gemma
语言：

• 土耳其语
  任务标签：文本生成
  基础模型：google/gemma2-9b
  标签：
• 土耳其语
• gemma2
• DPO
• SFT
• 对话式
• 指令

Turkish-Gemma-9b-v0.1

这是Turkish-Gemma-9b-v0.1模型。该模型基于Gemma-2-9b，通过持续预训练、监督微调（SFT）、直接偏好优化（DPO）和模型合并开发而成。

Turkish-Gemma-9b-v0.1专为土耳其语文本生成任务设计，能够生成连贯且上下文相关的续写和回答。由于训练数据的多样性（包括大规模预训练语料、指令调优数据和人类偏好数据），模型可能表现出某些偏见。用户应意识到这些偏见并负责任地部署模型。

您可以在此轻松体验模型演示（即将上线！）：https://cosmos.yildiz.edu.tr/cosmosllm

为了评估模型性能，我们编制了一个包含1,450个精心设计问题的数据集，涵盖多个类别。每个问题由18名人类标注者审核和评分，从而实现了多个模型之间的可靠比较。

下表总结了评估结果：

🏆 模型比较：胜率

投票方法

向人类评委展示一个问题以及来自不同模型的两个答案。评委根据偏好选择更好的答案。例如，在以下问题中，评委选择了右侧的答案：

📊 土耳其语评估基准结果（通过malhajar17/lm-evaluation-harness_turkish）

Transformers流水线

import transformers  
import torch  
model_id = "ytu-ce-cosmos/Turkish-Gemma-9b-v0.1"  
pipeline = transformers.pipeline(  
    "text-generation",  
    model=model_id,  
    model_kwargs={"torch_dtype": torch.bfloat16},  
    device_map="auto",  
)  
messages = [  
    {"role": "user", "content": "İsmi RD olan bir fonksiyon ona verilen sayının çarpmaya göre tersini döndürmektedir. Örneğin RD(3)=1/3. Buna göre RD(X)=X ifadesini doğru yapan kaç X değeri vardır?"}  
]  

terminators = [  
    pipeline.tokenizer.eos_token_id,  
    pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")  
]  

outputs = pipeline(  
    messages,  
    max_new_tokens=512,  
    eos_token_id=terminators,  
    do_sample=True,  
    temperature=0.6,  
    top_p=0.9,  
)  
print(outputs[0]["generated_text"][-1])  
# RD(X) = X ifadesi, bir sayının çarpmaya göre tersinin kendisiyle eşit olması anlamına gelir. Yani, X ile 1/X aynı olmalıdır. Bu durum yalnızca X'in karesi 1 olduğunda gerçekleşir:  

# X² = 1  

# Bu denklemin çözümleri:  

# X = 1 ve X = -1  

# Dolayısıyla, RD(X) = X eşitliğini sağlayan *iki* X değeri vardır: *1* ve *-1*.  

Transformers AutoModelForCausalLM

from transformers import AutoTokenizer, AutoModelForCausalLM  
import torch  

model_id = "ytu-ce-cosmos/Turkish-Gemma-9b-v0.1"  
tokenizer = AutoTokenizer.from_pretrained(model_id)  
model = AutoModelForCausalLM.from_pretrained(  
    model_id,  
    torch_dtype=torch.bfloat16,  
    device_map="auto",  
)  

messages = [  
    {"role": "user", "content": "İsmi RD olan bir fonksiyon ona verilen sayının çarpmaya göre tersini döndürmektedir. Örneğin RD(3)=1/3. Buna göre RD(X)=X ifadesini doğru yapan kaç X değeri vardır?"}  
]  

input_ids = tokenizer.apply_chat_template(  
    messages,  
    add_generation_prompt=True,  
    return_tensors="pt"  
).to(model.device)  

terminators = [  
    pipeline.tokenizer.eos_token_id,  
    pipeline.tokenizer.convert_tokens_to_ids("<end_of_turn>")  
]  

outputs = model.generate(  
    input_ids,  
    max_new_tokens=512,  
    eos_token_id=terminators,  
    do_sample=False,  
)  
response = outputs[0][input_ids.shape[-1]:]  
print(tokenizer.decode(response, skip_special_tokens=True))  
# RD(X) = X ifadesi, bir sayının çarpmaya göre tersinin kendisiyle eşit olması anlamına gelir. Yani, X ile 1/X aynı olmalıdır. Bu durum yalnızca X'in karesi 1 olduğunda gerçekleşir:  

# X² = 1  

# Bu denklemin çözümleri:  

# X = 1 ve X = -1  

# Dolayısıyla, RD(X) = X eşitliğini sağlayan *iki* X değeri vardır: *1* ve *-1*.  

致谢

• 感谢Hugging Face团队的慷慨支持，可以从他们的S3存储下载模型 🤗
• 本工作中使用的计算资源由土耳其国家高性能计算中心（UHeM）提供，资助编号为1016912023和1018512024

联系方式

COSMOS AI研究小组，伊斯坦布尔技术大学计算机工程系
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr

许可证：gemma2