数据集：

• BatsResearch/ctga-v1 语言：
• 英语（en） 库名称：transformers 流水线标签：文本生成（text2text-generation） 标签：
• 数据生成 许可证：Apache-2.0

Bonito模型卡片

Bonito是一个开源的条件任务生成模型，专注于将未标注文本转化为特定任务的指令调优训练数据集。

模型详情

模型描述

Bonito可用于创建合成指令调优数据集，帮助大语言模型适配用户的专业私有数据。我们的论文表明，Bonito能在无需任何标注的情况下，同时适配预训练模型和指令调优模型。

• 开发团队：Nihal V. Nayak, Yiyang Nan, Avi Trost, Stephen H. Bach
• 模型类型：MistralForCausalLM
• 支持语言：英语
• 许可证：Apache 2.0
• 基础模型：mistralai/Mistral-7B-v0.1

模型来源

• 代码库：https://github.com/BatsResearch/bonito
• 论文：零样本任务适配的指令数据集生成学习

使用场景

直接使用

推荐使用基于transformers和vllm库构建的bonito工具包：

from bonito import Bonito
from vllm import SamplingParams
from datasets import load_dataset

# 初始化模型
bonito = Bonito("BatsResearch/bonito-v1")

# 加载未标注文本
unannotated_text = load_dataset(
    "BatsResearch/bonito-experiment",
    "unannotated_contract_nli"
)["train"].select(range(10))

# 生成合成数据集
sampling_params = SamplingParams(max_tokens=256, top_p=0.95, temperature=0.5, n=1)
synthetic_dataset = bonito.generate_tasks(
    unannotated_text,
    context_col="input",
    task_type="nli",
    sampling_params=sampling_params
)

非适用场景

本模型支持16种任务类型（如摘要生成、情感分析等），超出这些范围的任务可能产生不准确结果。

偏差风险与局限性

局限性 模型效果依赖于大量未标注文本。在小规模数据场景下可能导致性能下降。当前验证仅针对三种任务类型（是非问答、抽取式问答和自然语言推理）。

风险 具有与其他大语言模型相似的风险：可能生成专业领域的错误数据，继承基础模型Mistral-7B的偏见，且未经过安全训练可能产生有害内容。

使用建议

建议用户在实际部署前严格检查生成任务，并在关键数据集上进行基准测试。

训练详情

训练数据

通过重构现有指令数据集创建了ctga-v1训练集。

训练过程

采用Q-LoRA技术，在4块GPU上训练4天完成10万步训练。

关键超参数：

• Q-LoRA秩(r):64
• 缩放因子(alpha):4
• 优化器:分页AdamW
• 最大学习率:1e-04
• 有效批大小:16
• 最大输入/输出长度:2048

引用

@inproceedings{bonito:aclfindings24,
  title = {Learning to Generate Instruction Tuning Datasets for Zero-Shot Task Adaptation},
  author = {Nayak, Nihal V. and Nan, Yiyang and Trost, Avi and Bach, Stephen H.},
  booktitle = {Findings of the Association for Computational Linguistics: ACL 2024},
  year = {2024}}