license: llama2
datasets:

• HuggingFaceH4/ultrachat_200k
• HuggingFaceH4/ultrafeedback_binarized
• HuggingFaceH4/cai-conversation-harmless
  language:
• hu
• en

SambaLingo-匈牙利语-聊天模型

SambaLingo-匈牙利语-聊天模型是一款支持匈牙利语和英语的对齐人类偏好的聊天模型。该模型基于SambaLingo-匈牙利语-基础模型，通过直接偏好优化训练而成。基础模型通过训练来自Cultura-X数据集的匈牙利语部分590亿个token，将Llama-2-7b适配到匈牙利语。您可以在SambaLingo-聊天空间试用此模型。

模型描述

• 开发团队: SambaNova Systems
• 模型类型: 语言模型
• 支持语言: 匈牙利语、英语
• 基础模型: Llama-2-7b
• 试用模型: SambaLingo-聊天空间
• 论文: SambaLingo: 教授大语言模型新语言
• 博客文章: sambalingo-开源语言专家

快速开始

通过Hugging Face加载模型

加载tokenizer时请确保设置use_fast=False。

from transformers import AutoModelForCausalLM, AutoTokenizer  

tokenizer = AutoTokenizer.from_pretrained("sambanovasystems/SambaLingo-Hungarian-Chat", use_fast=False)  
model = AutoModelForCausalLM.from_pretrained("sambanovasystems/SambaLingo-Hungarian-Chat", device_map="auto", torch_dtype="auto")  

使用模型管道交互

加载tokenizer时请确保设置use_fast=False。

from transformers import pipeline  
pipe = pipeline("text-generation", model="sambanovasystems/SambaLingo-Hungarian-Chat", device_map="auto", use_fast=False)  
messages = [  
                {"role": "user", "content": {您的问题}},  
]  
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)  
outputs = pipe(prompt)[0]  
outputs = outputs["generated_text"]  

推荐推理参数

• 温度: 0.8
• 重复惩罚: 1.0
• Top-p: 0.9

提示模板指南

使用以下聊天模板提示模型：

<|user|>\n{问题}</s>\n<|assistant|>\n  

示例提示与生成

<|user|>  
匈牙利灰牛有什么重要意义？</s>  
<|assistant|>  
匈牙利灰牛对匈牙利具有重要的文化和经济意义。以下是几个原因：  

1. 文化遗产：匈牙利灰牛是匈牙利文化和传统的象征。该品种已存在数百年，并成为匈牙利大草原的标志性象征。  

2. 食品：匈牙利灰牛的肉和奶品质优良，在匈牙利和国际市场上都很受欢迎。其肉质精瘦，脂肪含量低，蛋白质和铁含量高。  

3. 旅游业：匈牙利灰牛是匈牙利重要的旅游景点。游客喜欢参观灰牛农场，了解该品种的历史和养殖情况。  

4. 基因保护：匈牙利灰牛是重要的基因保护品种，有助于保留传统农业实践和当地生态系统。  

5. 经济影响：匈牙利灰牛对匈牙利是重要的经济活动。该品种的养殖和加工创造了就业机会，为农民和加工者带来收入。  

总的来说，匈牙利灰牛对匈牙利具有重要的文化、经济和生态意义。保护和推广该品种对于匈牙利文化和传统，以及当地经济和生态系统都很重要。  

训练细节

对齐阶段遵循Zephyr-7B的配方，包括两个阶段：监督微调(SFT)和直接性能优化(DPO)。

SFT阶段在ultrachat_200k数据集与Google翻译的ultrachat_200k数据集混合上进行。训练了一个epoch，全局批量大小为512，最大序列长度为2048个token。使用了线性衰减学习率2e-5和10%的预热。

DPO阶段在ultrafeedback数据集和cai-conversation-harmless数据集上进行，混合了10%的Google翻译数据。训练了三个epoch，全局批量大小为32。使用了线性衰减学习率5e-7，10%的预热和β=0.1作为DPO的正则化因子。

Tokenizer细节

我们通过从新语言中添加多达25,000个非重叠token，将基础llama模型的词汇表从32,000个token扩展到57,000个token。

评估

评估结果请参见我们的论文：SambaLingo: 教授大语言模型新语言

用途

直接使用

使用此模型需遵守Meta的Llama 2社区许可协议。请在下载模型权重前查看并接受许可协议。

超出范围的使用

SambaLingo不应用于：

• 关键任务应用
• 涉及他人安全的应用程序
• 做出高度重要的决策

偏见、风险和限制

与所有LLM一样，SambaLingo有一定的局限性：

• 幻觉：模型有时可能生成听起来合理但事实上不正确或不相关的信息。
• 代码切换：模型可能会无意中在单个响应中切换语言或方言，影响输出的连贯性和可理解性。
• 重复：模型可能会产生重复的短语或句子，导致响应不够吸引人和信息量不足。
• 编码和数学：模型在生成准确代码或解决复杂数学问题方面的性能可能有限。
• 毒性：模型可能会无意中生成包含不当或有害内容的响应。

致谢

我们衷心感谢开源AI社区；没有开源，这一努力将无法实现。SambaNova拥抱开源社区，并渴望积极为这一倡议做出贡献。

我们要特别感谢以下团体：

• Meta开源LLama 2和FLORES-200数据集
• Nguyen等人开源CulturaX数据集
• CohereAI发布AYA-101并开源多语言指令调优数据集
• EleutherAI提供开源评估框架
• Hugging Face-H4团队开源zephyr训练配方和alignment handbook仓库

引用SambaLingo

@misc{csaki2024sambalingo,  
      title={SambaLingo: 教授大语言模型新语言},   
      author={Zoltan Csaki and Bo Li and Jonathan Li and Qiantong Xu and Pian Pawakapan and Leon Zhang and Yun Du and Hengyu Zhao and Changran Hu and Urmish Thakker},  
      year={2024},  
      eprint={2404.05829},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL}  
}