Saiga Llama3 8b
模型简介
这是一个基于Meta的Llama-3 8B Instruct模型开发的俄语聊天助手,专门针对俄语对话进行了优化和微调。
模型特点
俄语优化
专门针对俄语对话进行了训练和优化,能够流畅地进行俄语交流。
Llama-3基础
基于强大的Llama-3 8B Instruct模型,继承了其优秀的语言理解和生成能力。
多轮对话支持
支持复杂的多轮对话,能够理解上下文并做出连贯的回应。
模型能力
俄语对话生成
问答系统
故事创作
信息解释
使用案例
客服助手
客户咨询应答
回答客户关于产品或服务的各种问题
提供准确、友好的俄语回答
教育辅助
知识问答
回答学生提出的各种知识性问题
如示例中解释为什么草是绿色的
内容创作
故事生成
根据给定元素创作完整故事
如示例中根据'塔尼娅'和'球'创作的故事
🚀 Saiga/Llama3 8B:基于Llama-3的俄语聊天机器人
Saiga/Llama3 8B是一款基于Llama-3的俄语聊天机器人,它依托强大的模型架构,能为用户提供高效、准确的对话服务,解决用户在交流过程中的各种需求。
🚀 快速开始
- 模型基础:该模型基于 Llama-3 8B Instruct 构建。
- Llama.cpp 版本:可访问 此处 获取。
- Colab 环境:点击 链接 可在 Colab 中使用。
✨ 主要特性
- 多版本支持:提供不同版本,每个版本在数据集和配置上有所差异,以满足不同场景需求。
- 多种提示格式:支持不同的提示格式,如 Llama-3 格式和 ChatML 格式。
📦 安装指南
文档未提及具体安装步骤,暂不提供。
💻 使用示例
基础用法
# 此为仅作参考的示例。
# 请勿在生产环境中以此方式推理模型。
# 请参考 https://github.com/vllm-project/vllm 或 https://github.com/huggingface/text-generation-inference
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
MODEL_NAME = "IlyaGusev/saiga_llama3_8b"
DEFAULT_SYSTEM_PROMPT = "你是赛加(Сайга),一个讲俄语的自动助手。你与人们交谈并帮助他们。"
model = AutoModelForCausalLM.from_pretrained(
MODEL_NAME,
load_in_8bit=True,
torch_dtype=torch.bfloat16,
device_map="auto"
)
model.eval()
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
generation_config = GenerationConfig.from_pretrained(MODEL_NAME)
print(generation_config)
inputs = ["为什么草是绿色的?", "写一个长故事,必须提及以下对象。给定:坦尼娅(Таня),球"]
for query in inputs:
prompt = tokenizer.apply_chat_template([{
"role": "system",
"content": DEFAULT_SYSTEM_PROMPT
}, {
"role": "user",
"content": query
}], tokenize=False, add_generation_prompt=True)
data = tokenizer(prompt, return_tensors="pt", add_special_tokens=False)
data = {k: v.to(model.device) for k, v in data.items()}
output_ids = model.generate(**data, generation_config=generation_config)[0]
output_ids = output_ids[len(data["input_ids"][0]):]
output = tokenizer.decode(output_ids, skip_special_tokens=True).strip()
print(query)
print(output)
print()
print("==============================")
print()
📚 详细文档
提示格式
⚠️ 重要提示
在 v4 版本中,提示格式已从 ChatML 更改为 原始的 Llama-3 格式。请务必切换格式!
v4、v5、v6+ 版本:Llama-3 提示格式
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
你是赛加(Сайга),一个讲俄语的自动助手。你与人们交谈并帮助他们。<|eot_id|><|start_header_id|>user<|end_header_id|>
最近怎么样?<|eot_id|><|start_header_id|>assistant<|end_header_id|>
很好,你呢?<|eot_id|><|start_header_id|>user<|end_header_id|>
太棒了。怎么去图书馆?<|eot_id|><|start_header_id|>assistant<|end_header_id|>
v2、v3 版本:ChatML 提示格式
<|im_start|>system
你是赛加(Сайга),一个讲俄语的自动助手。你与人们交谈并帮助他们。<|im_end|>
<|im_start|>user
最近怎么样?<|im_end|>
<|im_start|>assistant
很好,你呢?<|im_end|>
<|im_start|>user
太棒了。怎么去图书馆?<|im_end|>
<|im_start|>assistant
输出示例
用户:为什么草是绿色的?
赛加(Saiga):草呈现绿色是因为其中含有叶绿素——一种帮助植物吸收太阳能进行光合作用的色素。
叶绿素吸收波长为400 - 500纳米(接近蓝色)的光线,并反射波长为600 - 700纳米(接近红色)的光线,这使得它看起来是绿色的。
因此,绿色是叶绿素与光线相互作用的结果,为植物的生长和发育提供了必要的能量。
用户:写一个长故事,必须提及以下对象。给定:坦尼娅(Таня),球
赛加(Saiga):在一个开阔天空下的小村庄里,住着一个名叫坦尼娅(Таня)的女孩。她非常活跃,喜欢参加各种体育活动。有一天,她在田野里散步时,看到地上有一个球。这是一个旧球,但仍然可以用来玩。
坦尼娅立刻决定把它带回家,并给她的朋友米沙(Миша)看。米沙也热爱足球,总是很高兴能和朋友们一起度过时光。当他们回到家时,坦尼娅把找到的球拿给米沙看,并提议一起踢足球。
米沙很高兴他们有了一个新球,他们立刻开始为比赛做准备。他们分成两队,开始了比赛。他们一直玩到晚上,然后决定休息一下,准备晚餐。
晚餐后,他们继续比赛,现在更加热情和投入。最后,坦尼娅的队伍赢得了比赛,进了更多的球。一切都以欢乐的庆祝和美好的回忆结束。
第二天,坦尼娅和米沙决定邀请他们的其他朋友来参加比赛。他们把所有人聚集在一起,又进行了一场精彩的比赛。由于这个新球,这一天也变得难忘,它带来了很多欢乐和笑容。
所以,这个坦尼娅在田野里找到的小球,不仅成为了玩耍的物品,也成为了孩子们之间友谊和欢乐的象征。它帮助他们创造了难忘的时刻,加强了他们的关系。
版本信息
- v7 版本
- 17e1bcc9c6d3e31852a95a168f7d3778f395cd2a
- 别名:saiga_llama3_8b_abliterated_sft_m11_d7_kto_m7_d7
- SFT 数据集配置:sft_d7.json
- SFT 模型配置:saiga_llama3_8b_sft_m11.json
- KTO 数据集配置:pref_d7.json
- KTO 模型配置:saiga_llama3_8b_kto_m7.json
- SFT wandb 链接:link
- KTO wandb 链接:link
- v6 版本
- b662833f247ca04f1843b356e7ff3ee4aef8086a
- 别名:saiga_llama3_8b_sft_m10_d1_kto_m2_d2
- SFT 数据集配置:sft_d1.json
- SFT 模型配置:saiga_llama3_8b_sft_m10.json
- KTO 数据集配置:pref_d2.json
- KTO 模型配置:saiga_llama3_8b_kto_m2.json
- SFT wandb 链接:link
- KTO wandb 链接:link
- v5 版本
- d947b00c56683cd4b2f7ce707edef89318027be4
- 在 v4 版本基础上进行 KTO 微调,数据集:lmsys_clean_ru_preferences
- wandb 链接:link
- v4 版本
- 1cc945d4ca2c7901cf989e7edaac52ab24f1a7dd
- 数据集:saiga_scored,分数 >= 8,c66032920556c0f21bbbed05e7e04433ec954c3d
- wandb 链接:link
- v3 版本
- c588356cd60bdee54d52c2dd5a2445acca8aa5c3
- 数据集:saiga_scored,分数 >= 8,d51cf8060bdc90023da8cf1c3f113f9193d6569b
- wandb 链接:link
- v2 版本
- ae61b4f9b34fac9856d361ea78c66284a00e4f0b
- 数据集代码版本:d0d123dd221e10bb2a3383bcb1c6e4efe1b4a28a
- wandb 链接:link
- 5 个数据集:ru_turbo_saiga、ru_sharegpt_cleaned、oasst1_ru_main_branch、gpt_roleplay_realm、ru_instruct_gpt4
- 数据集合并脚本:create_short_chat_set.py
评估信息
- 数据集:https://github.com/IlyaGusev/rulm/blob/master/self_instruct/data/tasks.jsonl
- 框架:https://github.com/tatsu-lab/alpaca_eval
- 评估器:alpaca_eval_cot_gpt4_turbo_fn
以 ChatGPT 3.5 Turbo 为基准
模型 | 长度控制胜率 | 胜率 | 标准误差 | 平均长度 |
---|---|---|---|---|
ChatGPT 4 Turbo | 76.04 | 90.00 | 1.46 | 1270 |
ChatGPT 3.5 Turbo | 50.00 | 50.00 | 0.00 | 536 |
Saiga/Llama3 8B, v6 | 49.33 | 68.31 | 2.26 | 1262 |
sfr-iter-dpo | 49.11 | 74.94 | 2.13 | 1215 |
Suzume | 49.05 | 71.57 | 2.20 | 1325 |
Saiga/Llama3 8B, v7 | 48.95 | 69.40 | 2.25 | 1266 |
Saiga/Llama3 8B, v5 | 47.13 | 66.18 | 2.31 | 1194 |
Saiga/Llama3 8B, v4 | 43.64 | 65.90 | 2.31 | 1200 |
Saiga/Llama3 8B, v3 | 36.97 | 61.08 | 2.38 | 1162 |
Saiga/Llama3 8B, v2 | 33.07 | 48.19 | 2.45 | 1166 |
Saiga/Mistral 7B | 23.38 | 35.99 | 2.34 | 949 |
以 SFR 为基准
模型 | 长度控制胜率 | 胜率 | 标准误差 | 平均长度 |
---|---|---|---|---|
SFR | 50.00 | 50.00 | 0.00 | 1215 |
Saiga/Llama3 8B, v7 | 48.95 | 49.16 | 2.46 | 1266 |
Saiga/Llama3 8B, v6 | 46.91 | 47.23 | 2.45 | 1262 |
Suzume 8B | 43.69 | 48.19 | 2.46 | 1325 |
📄 许可证
- 许可证类型:其他
- 许可证名称:llama3
- 许可证链接:https://llama.meta.com/llama3/license/
Phi 2 GGUF
其他
Phi-2是微软开发的一个小型但强大的语言模型,具有27亿参数,专注于高效推理和高质量文本生成。
大型语言模型 支持多种语言
P
TheBloke
41.5M
205
Roberta Large
MIT
基于掩码语言建模目标预训练的大型英语语言模型,采用改进的BERT训练方法
大型语言模型 英语
R
FacebookAI
19.4M
212
Distilbert Base Uncased
Apache-2.0
DistilBERT是BERT基础模型的蒸馏版本,在保持相近性能的同时更轻量高效,适用于序列分类、标记分类等自然语言处理任务。
大型语言模型 英语
D
distilbert
11.1M
669
Llama 3.1 8B Instruct GGUF
Meta Llama 3.1 8B Instruct 是一个多语言大语言模型,针对多语言对话用例进行了优化,在常见的行业基准测试中表现优异。
大型语言模型 英语
L
modularai
9.7M
4
Xlm Roberta Base
MIT
XLM-RoBERTa是基于100种语言的2.5TB过滤CommonCrawl数据预训练的多语言模型,采用掩码语言建模目标进行训练。
大型语言模型 支持多种语言
X
FacebookAI
9.6M
664
Roberta Base
MIT
基于Transformer架构的英语预训练模型,通过掩码语言建模目标在海量文本上训练,支持文本特征提取和下游任务微调
大型语言模型 英语
R
FacebookAI
9.3M
488
Opt 125m
其他
OPT是由Meta AI发布的开放预训练Transformer语言模型套件,参数量从1.25亿到1750亿,旨在对标GPT-3系列性能,同时促进大规模语言模型的开放研究。
大型语言模型 英语
O
facebook
6.3M
198
1
基于transformers库的预训练模型,适用于多种NLP任务
大型语言模型
Transformers

1
unslothai
6.2M
1
Llama 3.1 8B Instruct
Llama 3.1是Meta推出的多语言大语言模型系列,包含8B、70B和405B参数规模,支持8种语言和代码生成,优化了多语言对话场景。
大型语言模型
Transformers 支持多种语言

L
meta-llama
5.7M
3,898
T5 Base
Apache-2.0
T5基础版是由Google开发的文本到文本转换Transformer模型,参数规模2.2亿,支持多语言NLP任务。
大型语言模型 支持多种语言
T
google-t5
5.4M
702
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98
智启未来,您的人工智能解决方案智库
简体中文