library_name: transformers
tags:

• 土耳其语
• 通用任务
• RAG（检索增强生成）
• SFT（监督微调）
  license: apache-2.0
  language:
• tr
• en
  pipeline_tag: text2text-generation

Cymist2-v0.1-SFT 模型卡片

新版发布

cymist-2-v02-SFT

模型描述

Cymist2-v0.1 是由 Cypien AI 团队开发的先进语言模型，专为文本生成任务优化。该模型基于 transformers 库构建，采用 Apache-2.0 许可协议发布。

• 开发团队: Cypien AI
• 模型类型: 文本生成语言模型
• 支持语言: 土耳其语、英语
• 许可协议: Apache-2.0
• 基础模型: mistralai/Mistral-7B-v0.1

直接用途

本模型适用于需要土耳其语理解、检索增强生成（RAG）和文本生成能力的通用场景，可集成至聊天机器人、虚拟助手等需要拟人化交互的AI系统中。

非适用场景

请勿将该模型用于以下场景：

1. 错误回答可能导致严重后果的关键系统
2. 超出通用文本生成范围的特定领域知识需求

偏差、风险与局限性

与其他AI模型类似，本模型可能继承训练数据中的偏差。用户应在应用时注意潜在偏差影响。

from transformers import AutoModelForCausalLM, AutoTokenizer  

model_name = "cypienai/cymist2-v01-SFT"  
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16)  
tokenizer = AutoTokenizer.from_pretrained(model_name)  
tokenizer.pad_token_id = tokenizer.eos_token_id  

使用Flash-Attention 2加速生成

安装flash-attn后（参考官方仓库说明），修改代码如下：

model = AutoModelForCausalLM.from_pretrained(  
        model_name,  
        torch_dtype=torch.bfloat16,  
        attn_implementation="flash_attention_2"  
        )  

使用示例

模型提示词模板：

question="什么是可再生食物？"  
prompt= f"[INST] {question} [/INST]"  

with torch.inference_mode():  
  input_ids = tokenizer(prompt, return_tensors="pt").to(device)  
  output = model.generate(**input_ids, max_new_tokens=8096)  
  decoded_output = tokenizer.decode(output[0], skip_special_tokens=False)  
  print(decoded_output)  

训练详情

训练数据

使用涵盖多主题的土耳其语和英语语料进行训练，确保广泛的语言理解能力。

训练流程

预处理

包括分词、标准化等自然语言处理步骤，可能包含数据增强以提升模型鲁棒性。

超参数设置

• 学习率: 2e-4

环境影响

训练过程注重减少碳排放，具体数据根据硬件类型、云服务商等参数计算得出：

0.93 kg CO2当量

碳排放估算可参考：机器学习碳排放计算器（Lacoste等，2019）

技术规格

将提供包括模型架构、计算基础设施等详细信息，以说明模型的运行背景。

引用

如需在研究中引用本模型，请参考本模型卡片中的开发信息。

术语表

可添加专业术语解释，确保所有用户理解相关概念。

更多信息

请联系Cypien AI团队获取模型相关咨询。

联系方式

info@cypien.ai

CypienAI团队