language: es
license: apache-2.0
tags:

• text-generation-inference
• transformers
• gemma
• chat
• qa
• multi-task-learning
• instruction-tuning
  base_model: google/gemma-2b

自然语言AI聊天与指令2B模型

开发团队

本模型由自然语言AI开发，旨在为西班牙语社区提供先进的文本生成、聊天和指令处理工具。这是我们计划发布的一系列模型中的首个版本。

许可协议

本模型基于Apache 2.0许可证分发。

基础模型

本模型基于google/gemma-2b微调，融合了先进特性以优化西班牙语的文本生成、聊天及指令理解能力。

语言

模型专为西班牙语训练，旨在最大化服务于西班牙语用户的应用效果。

训练过程

为确保模型在多样化任务中的优异表现，训练分为三个阶段：

1. 西班牙语多任务学习：采用多组监督数据集进行FLAN风格训练
2. 高质量指令微调：优化模型对复杂指令的理解与响应能力
3. 对话与抽象问答训练：提升流畅对话和抽象问题解答能力

所有训练阶段均通过我们的autotransformers库实现。

最大序列长度

本模型支持的最大序列长度为8192个token。

用途与限制

本模型适用于西班牙语文本生成、聊天机器人及虚拟助手等场景。尽管已尽力减少偏见和错误，建议在实际应用场景中进行性能评估。用户需注意语言模型的固有局限，并负责任地使用。

需特别说明：基础模型仅含20亿参数，因此本模型具有相应规模模型的固有局限性。

快速开始

可通过Hugging Face API或transformers库集成模型。示例代码如下：

from transformers import AutoModelForCausalLM, AutoTokenizer  
import torch  

model_name = "LenguajeNaturalAI/leniachat-gemma-2b-v0"  
tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForCausalLM.from_pretrained(model_name)  

# 文本生成  
messages = [  
  {"role": "system", "content": "你是一个通过对话解决用户疑问的助手"},  
  {"role": "user", "content": "工业革命是什么？"}  
]  
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt")  
with torch.no_grad():  
  output = model.generate(input_ids, max_new_tokens=50)  
print(tokenizer.decode(output[0], skip_special_tokens=True))  

评估

通过多数据集全面评估，模型在西班牙语文本生成和指令理解方面表现优异。LeNIA-Chat系列模型的具体评估数据详见下表。

社区贡献

欢迎通过反馈、建议和改进推动模型发展。协作对发展可及且符合伦理的人工智能至关重要。

未来版本

我们将持续优化模型并发布功能更强的版本。敬请关注官网或LinkedIn主页获取更新。