license: apache-2.0 language:

• 韩语
• 英语 pipeline_tag: 文本生成 tags:
• arxiv:2405.15640
• gecko
• 预训练模型 library_name: transformers

GECKO：面向英语、代码和韩语的生成式语言模型

论文 | GitHub |

GECKO-7B

GECKO是基于韩语、英语和代码训练的70亿参数解码器专用Transformer模型。该模型训练使用了2000亿标记和TB级韩语语料库，采用Apache 2.0许可开源发布。更多技术细节请参阅我们的技术报告。

模型详情

GECKO采用Llama架构的生成式语言模型，可轻松兼容支持Llama的其他框架。

使用说明

使用float16或bfloat16半精度时需至少14GB内存。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'kifai/GECKO-7B'
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")

text = """请解释这段HTML代码的功能，并提供英文说明。
\```html
<button onclick="alert('Welcome!')">Click Me</button>
\```
"""
inputs = tokenizer(text, return_tensors='pt')['input_ids'].to('cuda')
output = model.generate(inputs, max_new_tokens=512, repetition_penalty=1.2)
print(tokenizer.decode(output[0], skip_special_tokens=True))
# 请解释这段HTML代码的功能，并提供英文说明。
# \```html
# <button onclick="alert('Welcome!')">Click Me</button>
# \```
# 
# ## 功能说明
# 
# 这是一个点击后会显示"Welcome!"消息的按钮
# 
# ## 预期输出
# 
# 点击后的预期输出为：
# 
# \```text
# Welcome!
# \```

局限性

作为生成式语言模型，GECKO存在一定风险。当前测试主要集中在韩语场景，未覆盖所有可能性。与其他大语言模型类似，其输出可能存在不可预测的准确性偏差或其他问题。建议开发者在部署前进行安全测试并针对目标场景微调。

许可协议

GECKO采用Apache 2.0许可证发布。

引用格式

@misc{oh2024gecko,
      title={GECKO：面向英语、代码和韩语的生成式语言模型}, 
      author={Sungwoo Oh and Donggyu Kim},
      year={2024},
      eprint={2405.15640},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

致谢

训练过程由TPU Research Cloud计划提供支持。

联系方式

期待与您交流合作

• 吴成佑 [领英]
• 金东奎