许可证: llama3
语言:

• tr
  任务标签: 文本生成
  基础模型: ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1
  标签:
• 土耳其语
• turkish
• Llama
• Llama3

Cosmos LLaMa 指令-DPO 模型

这是 CosmosLLama 最新且最先进的迭代版本。该模型通过合并两个独立训练的 CosmosLLaMa-指令 DPO 模型开发而成。

CosmosLLaMa-指令 DPO 专为文本生成任务设计，能够以连贯且符合上下文的方式延续给定的文本片段。由于训练数据来源多样（包括网站、书籍等文本资源），该模型可能存在偏见。使用者应注意这些偏见并负责任地使用模型。

您可以通过以下链接轻松体验模型演示：https://cosmos.yildiz.edu.tr/cosmosllama

Transformers 流水线示例

import transformers
import torch

model_id = "ytu-ce-cosmos/Turkish-Llama-8b-DPO-v0.1"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "系统", "content": "你是一个人工智能助手。用户将给你分配任务。你的目标是尽可能忠实地完成任务。执行任务时请逐步思考并解释每个步骤。"},
    {"role": "用户", "content": "问题：一辆车的油箱最多可加60升汽油。该车每行驶100公里消耗8升汽油。当油箱加满时，这辆车能行驶多少公里？"},
]

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
print(outputs[0]["generated_text"][-1])

Transformers AutoModelForCausalLM 示例

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "ytu-ce-cosmos/Turkish-Llama-8b-DPO-v0.1"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "系统", "content": "你是一个人工智能助手。用户将给你分配任务。你的目标是尽可能忠实地完成任务。执行任务时请逐步思考并解释每个步骤。"},
    {"role": "用户", "content": "问题：一辆车的油箱最多可加60升汽油。该车每行驶100公里消耗8升汽油。当油箱加满时，这辆车能行驶多少公里？"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=256,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

致谢

• 感谢 Hugging Face 团队的慷慨支持，使我们能够从他们的 S3 存储下载模型 🤗
• 本工作使用的计算资源由土耳其国家高性能计算中心（UHeM）提供，资助编号为 1016912023 和 1018512024
• 研究获得谷歌 TPU 研究云（TRC）提供的 Cloud TPU 支持

联系方式

伊斯坦布尔理工大学计算机工程系 COSMOS 人工智能研究组
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr

引用

@inproceedings{kesgin2024optimizing,
  title={优化土耳其语大语言模型：语料库选择与训练的新方法},
  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and {\.I}nce, Elif and Erdem, Yusuf and Shbib, Osama and Zeer, Ahmed and Amasyali, M Fatih},
  booktitle={2024年智能系统与应用创新会议（ASYU）},
  pages={1--6},
  year={2024},
  organization={IEEE}
}