license: apache-2.0

Cappy-Large大型模型

快速开始

Cappy是一款预训练的小型评分器，旨在提升多任务大语言模型（LLM）的性能与效率。该模型接收指令和候选响应作为输入，输出0到1之间的评分，表示响应相对于指令的预估正确程度。仅需3.6亿参数，Cappy既可独立处理分类任务，也可作为LLM的辅助组件提升其表现。此外，Cappy能高效整合下游监督信号，无需对LLM进行微调或访问其参数。其设计还能灵活配合其他LLM适配技术（如微调、上下文学习及提示调优），实现额外性能增益。

• 代码库: https://github.com/tanyuqian/cappy
• 论文: arxiv.org/abs/2311.06720

使用方法

Cappy支持Jax/Flax和PyTorch两种框架加载。

Jax/Flax框架

from transformers import AutoTokenizer, FlaxAutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained('btan2/cappy-large')
cappy = FlaxAutoModelForSequenceClassification.from_pretrained('btan2/cappy-large')

instruction = """
请为这篇新闻选择最合适的标签：
卡莱尔集团进军商业航空领域（路透社）——以精准把握时机且偶尔在国防工业引发争议著称的私募投资公司卡莱尔集团，已悄然将目光投向市场的另一领域。
"""
response = '商业'

inputs = tokenizer([(instruction, response), ], return_tensors='pt')
score = cappy(**inputs).logits[0][0].item()

PyTorch框架

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained('btan2/cappy-large')
cappy = AutoModelForSequenceClassification.from_pretrained('btan2/cappy-large')

instruction = """
请为这篇新闻选择最合适的标签：
卡莱尔集团进军商业航空领域（路透社）——以精准把握时机且偶尔在国防工业引发争议著称的私募投资公司卡莱尔集团，已悄然将目光投向市场的另一领域。
"""
response = '商业'

inputs = tokenizer([(instruction, response), ], return_tensors='pt')
score = cappy(**inputs).logits[0][0].item()

性能评估

我们在与预训练任务完全独立的测试集上验证Cappy的表现。如图1和图2所示，在PromptSource的11项语言理解任务中，仅3.6亿参数的Cappy显著超越300亿参数的OPT-IML-30B和1750亿参数的OPT-175B，并与当前最优多任务LLM持平。在BIG-Bench的45项复杂任务上，Cappy持续大幅提升先进多任务模型FLAN-T5的表现。当与微调或上下文学习技术结合时，Cappy能带来额外性能提升。消融实验证实了所提预训练与数据增强策略的关键作用。

相关软件

Cappy的预训练基于Red Coast工具包中的分类回归示例代码，该工具包专为自动化分布式训练设计。

引用文献

@inproceedings{
tan2023cappy,
title={Cappy：以小型评分器超越并助推大型多任务语言模型},
author={谭博文、朱赟、刘丽娟、Eric Xing、胡志挺、陈晋东},
booktitle={第三十七届神经信息处理系统会议},
year={2023},
url={https://openreview.net/forum?id=Srt1hhQgqa}
}