用户提供的翻译信息如下：

微件:

• 文本: "土耳其的首都是哪里？" 示例标题: "首都"
• 文本: "针对水资源短缺问题有哪些可能的解决方案？" 示例标题: "水资源短缺"
• 文本: "人工智能会带来失业风险吗？" 示例标题: "人工智能失业风险"
• 文本: "为以下文章建议一个标题：本文探讨了互联网在彻底改变企业与客户沟通方式中所扮演的角色。" 示例标题: "生成标题"
• 文本: "在以下情境中说些原创内容：你刚结束一场工作面试，想向雇主表达对该职位的兴趣。" 示例标题: "角色扮演"
• 文本: "加强企业网络安全需要采取哪些措施？" 示例标题: "网络安全"
• 文本: "最流行的5种编程语言是什么？" 示例标题: "编程语言"
• 文本: "列举人类历史上最具影响力的几项发明。" 示例标题: "发明创造"
• 文本: "大量阅读能培养孩子的哪些技能？" 示例标题: "阅读益处"
• 文本: "围绕'气候变化'主题列出5个关键词" 示例标题: "气候变化关键词"
• 文本: "计算机有哪些优势？" 示例标题: "计算机优势"

许可证: MIT协议 语言:

• 土耳其语 任务标签: 文本生成 基础模型: ytu-ce-cosmos/turkish-gpt2-large

标签:

• 土耳其语
• turkish
• gpt2
• 指令微调
• alpaca

turkish-gpt2-large-750m-instruct-v0.1

本模型基于ytu-ce-cosmos/turkish-gpt2-large开发，是通过3.5万条指令数据集微调的土耳其语言模型(LLM)。 由于训练数据来源多样（包括网站、书籍等文本），模型可能表现出偏见或生成错误答案。使用者应意识到这些偏见并负责任地使用模型。

快速开始

import torch
from transformers import AutoTokenizer, GPT2LMHeadModel
from transformers import pipeline

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
device_id = 0 if torch.cuda.is_available() else -1

model = GPT2LMHeadModel.from_pretrained("ytu-ce-cosmos/turkish-gpt2-large-750m-instruct-v0.1").to(device)

tokenizer = AutoTokenizer.from_pretrained("ytu-ce-cosmos/turkish-gpt2-large-750m-instruct-v0.1")

text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)

def get_model_response(instruction):
    instruction_prompt = f"### 用户:\n{instruction}\n### 助手:\n"
    result = text_generator(instruction_prompt)
    generated_response = result[0]['generated_text']
    return generated_response[len(instruction_prompt):]

model_response = get_model_response("解释在家锻炼的好处。")
print(model_response)
"""
在家锻炼是提升身心健康的绝佳方式。定期锻炼能带来诸多益处，包括提高能量水平、增强肌肉力量和柔韧性、改善睡眠质量以及提升整体健康状态。居家锻炼还有助于减压、增强肌力并改善总体健康状况。
"""

使用对话模板：

chat_generator = pipeline("conversational", model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)

messages = [
    {"role": "user", "content": "解释在家锻炼的好处。"}
]

chat_outputs = chat_generator(messages)
print(chat_outputs)
"""
对话ID: 236ffc4a-2a36-4191-92fb-90d6753df1ae
用户: 解释在家锻炼的好处。
助手: 居家锻炼能为身心健康发展带来诸多优势。定期运动有助于缓解压力、增强肌肉力量并改善整体健康。此外，居家锻炼还能带来更好的睡眠质量、更高能量水平和更佳认知功能等身心健康效益。这种锻炼方式还能提升柔韧性、平衡协调能力，促进心脏健康和骨骼健康。
"""

训练细节

• 我们使用3.5万条土耳其语指令数据集进行精细微调，显著提升了模型的精确度和适应能力
• 通过LoRA（低秩自适应）技术，我们将模型性能推向巅峰
• LoRA配置：
  • 秩 = 256
  • lora_alpha = 512
  • lora_dropout = 0.05
  • 偏置="无"
  • 任务类型="因果语言模型"
• 除监控损失值外，我们成功将Rouge评分纳入系统评估指标
• 创新性地采用模型清洗技术优化数据质量

更多技术细节详见论文。

模型说明

• 开发团队: 伊斯坦布尔理工大学COSMOS实验室
• 基础模型: ytu-ce-cosmos/turkish-gpt2-large

致谢

• 感谢Hugging Face团队提供模型下载支持 🤗
• 研究使用Google TPU研究云(TRC)提供的Cloud TPU完成

引用

@article{kesgin2024introducing,
  title={Introducing cosmosGPT: Monolingual Training for Turkish Language Models},
  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and Seyrek, H Emre and Zeer, Ahmed and Amasyali, M Fatih},
  journal={arXiv preprint arXiv:2404.17336},
  year={2024}
}

框架版本

• PEFT 0.9.0

联系方式

伊斯坦布尔理工大学计算机工程系COSMOS人工智能研究组
https://cosmos.yildiz.edu.tr/
cosmos@yildiz.edu.tr