语言:

• 韩语
• 英语 许可证: 其他 库名称: transformers 许可证名称: gemma使用条款 许可证链接: https://ai.google.dev/gemma/terms 管道标签: 文本生成 标签:
• pytorch

Gemma-Ko韩语模型

2024.03.08更新：Gemma-Ko 7B模型首次发布

原始Gemma模型页面: Gemma

本模型卡对应Gemma-Ko模型的7B基础版本。

资源与技术文档:

• 谷歌原版Gemma-7B
• 训练代码@Github: Gemma-EasyLM

使用条款: 条款

引用

@misc {gemma_ko_7b,
	作者       = { {李俊范, 崔泰均} },
	标题        = { gemma-ko-7b },
	年份         = 2024,
	网址          = { https://huggingface.co/beomi/gemma-ko-7b },
	doi          = { 10.57967/hf/1859 },
	发布者    = { Hugging Face }
}

模型开发者: 李俊范(Beomi) & 崔泰均(Taekyoon)

模型信息

概要说明及输入输出的简要定义。

描述

Gemma是谷歌推出的一系列轻量级、前沿的开放模型，基于创建Gemini模型所用的相同研究和技术构建。它们是仅解码器的文本到文本大语言模型，提供英语版本，具有开放权重、预训练变体和指令调优变体。Gemma模型适用于多种文本生成任务，包括问答、摘要和推理。其相对较小的体积使得可以在资源有限的环境中部署，如笔记本电脑、台式机或自有云基础设施，从而普及最先进AI模型的访问，助力大众创新。

使用方式

以下是一些快速运行模型的代码片段。首先确保pip install -U transformers，然后复制适合您用例的代码段。

在CPU上运行模型

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/gemma-ko-7b")
model = AutoModelForCausalLM.from_pretrained("beomi/gemma-ko-7b")

input_text = "机器学习与深度学习的区别是"
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

在单/多GPU上运行模型

# pip install accelerate
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("beomi/gemma-ko-7b")
model = AutoModelForCausalLM.from_pretrained("beomi/gemma-ko-7b", device_map="auto")

input_text = "机器学习与深度学习的区别是"
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

其他优化

• Flash Attention 2

首先确保环境中安装flash-attn：pip install flash-attn

model = AutoModelForCausalLM.from_pretrained(
    "beomi/gemma-ko-7b", 
    torch_dtype=torch.float16, 
+   attn_implementation="flash_attention_2"
).to(0)

输入与输出

• 输入: 文本字符串，如问题、提示或待摘要的文档。
• 输出: 根据输入生成的韩语/英语文本，如问题答案或文档摘要。

实现信息

关于模型内部实现的细节。

软件

训练使用beomi/Gemma-EasyLM完成。

评估

模型评估指标与结果。

基准测试结果

待定

使用与限制

用户需注意这些模型的某些限制。

预期用途

开放大语言模型(LLM)在各行业和领域有广泛应用。以下潜在用途列表并不全面，旨在提供模型训练和开发过程中考虑的可能用例背景信息。

• 内容创作与沟通
  • 文本生成：可用于生成创意文本格式，如诗歌、剧本、代码、营销文案和电子邮件草稿。
• 研究与教育
  • 自然语言处理(NLP)研究：作为研究人员实验NLP技术、开发算法和推动领域进步的基础。
  • 语言学习工具：支持交互式语言学习体验，辅助语法纠正或提供写作练习。
  • 知识探索：通过生成摘要或回答特定主题问题，帮助研究人员探索大量文本。

限制

• 训练数据
  • 训练数据的质量和多样性显著影响模型能力。训练数据中的偏见或空白可能导致模型响应受限。
  • 训练数据集的范围决定了模型能有效处理的主题领域。
• 上下文与任务复杂性
  • LLM更擅长处理能清晰提示和指令的任务。开放式或高度复杂的任务可能具有挑战性。
  • 模型性能受提供上下文量的影响（较长上下文通常带来更好输出，但存在上限）。
• 语言歧义与细微差别
  • 自然语言本质复杂。LLM可能难以把握微妙差异、讽刺或比喻性语言。
• 事实准确性
  • LLM基于训练数据集学习的信息生成响应，但它们不是知识库。可能生成不正确或过时的事实陈述。
• 常识
  • LLM依赖语言统计模式。可能缺乏在某些情况下应用常识推理的能力。

伦理考量与风险

大语言模型(LLM)的发展引发若干伦理问题。在创建开放模型时，我们仔细考虑了以下方面：

• 偏见与公平性
  • 基于大规模真实世界文本数据训练的LLM可能反映训练材料中嵌入的社会文化偏见。这些模型经过仔细审查，本卡描述了输入数据预处理和后评估报告。
• 错误信息与滥用
  • LLM可能被滥用以生成虚假、误导或有害文本。
  • 提供了负责任使用指南，参见负责任生成AI工具包。
• 透明度与问责制：
  • 本模型卡总结了模型架构、能力、限制和评估过程的细节。
  • 负责任开发的开放模型通过使LLM技术对AI生态系统中开发者和研究人员可访问，提供了分享创新的机会。

已识别的风险与缓解措施：

• 偏见延续：鼓励持续监控（使用评估指标、人工审查）及在模型训练、微调和其他用例中探索去偏技术。
• 有害内容生成：内容安全机制和指南至关重要。鼓励开发者谨慎行事，根据具体产品政策和应用用例实施适当的内容安全防护措施。
• 恶意用途滥用：技术限制及开发者和终端用户教育有助于减轻LLM的恶意应用。提供了教育资源及用户标记滥用的报告机制。Gemma模型的禁止用途概述于Gemma禁止使用政策。
• 隐私侵犯：模型训练数据经过过滤去除PII（个人身份信息）。鼓励开发者遵守隐私法规，采用隐私保护技术。

致谢

训练由TPU Research Cloud计划支持。