许可证：apache-2.0
语言：

• 韩语

polyglot-ko-12.8b-instruct（多语言韩语-128亿参数-指令模型）

本模型是基于EleutherAI/polyglot-ko-12.8b在26万条指令跟随数据集上微调的版本。

训练流程

训练超参数

训练过程中使用的超参数如下：

• 学习率：5e-05
• 训练批次大小：1
• 随机种子：42
• 分布式类型：多GPU（A100 80G）
• 设备数量：8
• 梯度累积步数：64
• 总训练批次大小：512
• 总评估批次大小：64
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 训练轮次：5.0

推理示例

import torch
from transformers import pipeline, AutoModelForCausalLM

MODEL = 'etri-xainlp/polyglot-ko-12.8b-instruct'

model = AutoModelForCausalLM.from_pretrained(
    MODEL,
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True,
).to(device=f"cuda", non_blocking=True)
model.eval()

pipe = pipeline(
    'text-generation', 
    model=model,
    tokenizer=MODEL,
    device=0
)
pipe.model.config.pad_token_id = pipe.model.config.eos_token_id

def ask(x, context='', is_input_full=False):
    ans = pipe(
        f"### 问题: {x}\n\n### 上下文: {context}\n\n### 回答:" if context else f"### 问题: {x}\n\n### 回答:", 
        do_sample=True, 
        max_new_tokens=2048,
        temperature=0.9,
        top_p=0.9,
        return_full_text=False,
        eos_token_id=2,
    )
    return ans[0]['generated_text']

while True:
    quit = input('请输入问题: ')
    if quit == 'q':
        break
    else:
        generation = ask(quit)
        print("etri_ai:", generation)

框架版本

• Transformers 4.30.2
• Pytorch 2.0.1+cu118
• Datasets 2.13.1
• Tokenizers 0.13.3