许可证：cc-by-nc-4.0
语言：

• tr
  任务标签：文本生成

模型卡片

基于土耳其语指令-响应对微调的Gemma-2b模型。

训练数据

• 数据集规模：约75k

使用限制

Gemma模型的使用受Gemma使用条款约束，详情请参阅：ai.google.dev/gemma/terms
使用前请务必查阅Gemma使用限制条款：
https://ai.google.dev/gemma/terms#3.2-use

模型调用示例

import torch,re  
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig  

bnb_config = BitsAndBytesConfig(  
    load_in_4bit=True,  
    bnb_4bit_use_double_quant=True,  
    bnb_4bit_quant_type="nf4",  
    bnb_4bit_compute_dtype=torch.bfloat16  
)  

model_id = "erythropygia/Gemma2b-Turkish-Instruction"  

model = AutoModelForCausalLM.from_pretrained(model_id, quantization_config=bnb_config, device_map={"":0})  
tokenizer = AutoTokenizer.from_pretrained(model_id, add_eos_token=True, padding_side="left")  

def get_completion(query: str, model, tokenizer) -> str:  
  prompt_template = """  
  <start_of_turn>user  
  回答下列问题：\n  
  {query}  
  <end_of_turn>\n<start_of_turn>model  
  """  
  generated_ids = model.generate(**model_inputs, max_new_tokens=256, do_sample=True, pad_token_id=tokenizer.eos_token_id)  
  return decoded.strip()  

result = get_completion(query="创建一个接收三个int类型参数并返回其总和的函数", model=model, tokenizer=tokenizer)  
print(result)  

训练超参数

• 训练轮次: 1
• 最大步数: 300
• 上下文长度: 1024
• LoRA秩: 32
• LoRA Alpha: 64
• LoRA丢弃率: 0.05

训练结果

训练损失: 2.077697410186132 （若能获得更多GPU资源，效果可进一步提升 :-) ）