库名称: transformers
标签:
- llama-factory
- BanBan
- 板板
语言:
- 英文
- 中文
数据集:
- asadfgglie/BanBan生成数据集v1
- asadfgglie/BanBan_2024-7-1_v1
管道标签: 图像文本到文本
asadfgglie/banban-beta-v2
AI虚拟主播板板模型。
目标是打造属于NTNU VLSI的专属AI虚拟主播!
目前仅开放给NTNU VLSI社团成员。如果你是成员,并想要获取本模型的权重,请至Discord联系我。
这个模型主要使用了大量AI合成数据进行训练,辅以少量人类数据进行训练。
模型描述
用途
接触板板,理解板板,成为板板
主要用于聊天和虚拟主播直播,但目前能力仅限于聊天用途
直接使用
你可以直接拿来当普通的AI助手使用,嗯,带点食品偏好菠萝狂热的助手
超出范围的使用
关于一些政治类问题不建议询问板板,主要原因是基础模型Llama3本身就被训练会避开这些问题回答。
偏见、风险和限制
板板是一名狂热的菠萝披萨支持者,现在是,未来也是。这是直接写在训练集和提示词中的设定,属于刻在DNA里的印记,是神圣不可分割的一部分!
建议
你必须接受菠萝披萨才能理解板板
如何开始使用模型
首先你需要根据你的电脑硬件情况选择模型。
你可以在文件和版本中挑选结尾带有gguf扩展名的文件,这是模型的权重文件。
其中比较特殊的是mmproj-model-f16.gguf
,这是让板板睁眼的clip权重文件。若你有让板板睁眼的需求,记得别忘了下载这个文件。
这是经过gguf量化后的模型,因此可以用在任何支持llama.cpp的部署环境中。
关于如何选择模型尺寸,最简单的建议是将模型权重的文件大小乘以2,如果你的显卡专用显存容量大于这个数,那你可以放心选择。
至于各种不同量化设定对于模型智力与速度的影响,各位可以简单理解为:模型权重文件越大,模型精度就越高,能力就越强,速度也就越慢。对于至少有6G显卡专用显存(RTX 3050 6G、RTX 4060),我推荐使用Q3量化级别的模型以取得最佳速度,并且保证不会有显存不足的问题,只要你别开着模型的同时打游戏。
对于有10G或以上显存,可以选择Q4、Q5级别的量化,这是在速度与性能上达到良好平衡的量化版本。
至于Q6、Q8,我建议是RTX 4080,但Q6量化有16G显存的话可以尝试一下,应该能行。
F16则是原始精度,只是以gguf格式储存,有RTX 4090玩过后可以告诉我效果如何。理论上应该会比我测试时还要好。因为我只能用量化过后的模型来测试QQ。
对于不会写程序,只想尝鲜的新手们,我的建议是LM Studio,这个免费的项目可以很方便地帮你搞定一切麻烦的设定,只是没办法使用自定义名称,因此可能会无法体验到最佳的对话效果。同时别忘了mmproj-model-f16.gguf
这个板板的眼睛!
(主要是因为这工具还没把内部的对话记录储存格式更新到与openAI最新版API相同的模式,最新版的openAI API已经支持定义每个message的作者名称设定了,llama3本身也设计过prompt格式,也有限度的支持自定义作者名称)
如果你选择使用oobabooga/text-generation-webui来作为你的推理平台,由于这个项目本身不支持对llama.cpp
的多模态功能,因此板板只能生活在文字背后(当个躲在键盘后的键盘侠)
技术规格
模型架构和目标
LlavaForConditionalGeneration,将基础模型转为llama3
计算基础设施
硬件
CPU: Intel(R) Core(TM) i5-14400
GPU: NVIDIA GeForce RTX 4060 Ti 16G
内存: 32G
软件
感谢伟大的hiyouga/LLaMA-Factory让我节省了大量搭建基础设施的时间
训练过程
训练超参数
训练过程中使用了以下超参数:
- 学习率: 5e-05
- 训练批次大小: 1
- 评估批次大小: 1
- 随机种子: 42
- 梯度累积步数: 16
- 总训练批次大小: 16
- 优化器: Adam with betas=(0.9,0.999) and epsilon=1e-08
- 学习率调度器类型: cosine
- 训练轮数: 3.0
训练结果
训练损失 |
训练轮数 |
步数 |
验证损失 |
已见输入标记数 |
1.2315 |
0.4168 |
100 |
1.1917 |
1551832 |
1.0165 |
0.8336 |
200 |
1.0467 |
3072864 |
0.8943 |
1.2503 |
300 |
0.9339 |
4609344 |
0.7505 |
1.6671 |
400 |
0.8318 |
6138408 |
0.577 |
2.0839 |
500 |
0.7647 |
7672440 |
0.5811 |
2.5007 |
600 |
0.7326 |
9211432 |
0.5544 |
2.9174 |
700 |
0.7245 |
10741104 |
指标 |
得分 |
predict_bleu-4 |
22.36944225630876 |
predict_model_preparation_time |
0.0048 |
predict_rouge-1 |
41.827983993072735 |
predict_rouge-2 |
21.250519792182086 |
predict_rouge-l |
36.58219059871351 |
predict_runtime |
55992.1102 |
predict_samples_per_second |
0.072 |
predict_steps_per_second |
0.072 |
框架版本
- PEFT 0.11.1
- Transformers 4.43.2
- Pytorch 2.3.0+cu121
- Datasets 2.19.2
- Tokenizers 0.19.1