许可证:Apache-2.0
标签:
- 文本到文本生成
任务标签:文本到文本生成
支持语言:
- 中文
- 英文
交互示例:
- 输入:
Human: 使用python写一个二分查找的代码
Assistant:
示例标题:中文代码生成
- 输入:
Human: 将以下句子情感分类为积极、中性或消极:
对教授斯坦福大学首门大型语言模型课程超级兴奋!查看课程大纲请点击这里
Assistant:
示例标题:英文情感分析
- 输入:
Human: 今天天气怎么样,把这句话翻译成英语
Assistant:
示例标题:中英翻译
- 输入:
Human: 怎么让自己精力充沛,列5点建议
Assistant:
示例标题:中文头脑风暴
- 输入:
Human: 请以『春天的北京』为题写一首诗歌
Assistant:
示例标题:中文诗歌创作
- 输入:
Human: 明天就假期结束了,有点抗拒上班,应该怎么办?
Assistant:
示例标题:中文建议征集
- 输入:
Human: 父母都姓吴,取一些男宝宝和女宝宝的名字
Assistant:
示例标题:中文命名建议
- 输入:
Human: 推荐几本金庸的武侠小说
Assistant:
示例标题:中文书目推荐
模型卡片
欢迎
如果您觉得本模型有帮助,请点赞并前往GitHub给我们加星:https://github.com/LianjiaTech/BELLE
模型描述
BELLE基于Bloomz-7b1-mt模型,结合200万条中文数据和斯坦福Alpaca开源的5万条英文指令数据进行微调,具备优秀的中文指令理解与响应生成能力。
中文数据生成代码及完整项目详情见GitHub仓库:https://github.com/LianjiaTech/BELLE
我们使用不同规模数据集(20万/60万/100万/200万样本)训练了多个版本:
训练参数
参数 |
值 |
批大小 |
64 |
学习率 |
3e-6 |
训练轮次 |
3 |
权重衰减 |
0.001 |
预热比例 |
0.1 |
学习率调度器 |
linear |
使用指南
输入需严格遵循格式(训练/推理均适用):
Human: {输入内容}\n\nAssistant:
加载示例:
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = "./"
model = AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)
inputs = 'Human: 如何学习Python?\n\nAssistant:'
input_ids = tokenizer(inputs, return_tensors="pt").input_ids
outputs = model.generate(input_ids, max_new_tokens=200, do_sample=True, top_k=30, top_p=0.85, temperature=0.35)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
局限性
当前版本存在以下问题:
- 事实性指令可能产生错误回答
- 对有害指令的识别能力有限
- 推理和代码能力有待提升
使用限制:
- 仅限研究用途
- 禁止商用及任何可能造成社会危害的用途
示例展示
(完整示例表格见原文,包含散文诗创作、房产对话、情感分类、机器学习算法解析、周杰伦出生年份、婚姻观探讨、周报撰写、围棋术语翻译等丰富案例)
引用
@misc{BELLE,
author = {纪云杰等},
title = {BELLE:基于BLOOM的大型语言模型引擎},
year = {2023},
publisher = {GitHub},
howpublished = {\url{https://github.com/LianjiaTech/BELLE}},
}
请同时引用原始BLOOM、Stanford Alpaca和Self-Instruct论文