license: mit library_name: transformers pipeline_tag: question-answering

布谷鸟模型 🐦 [Github]

本仓库包含论文《布谷鸟：孵化于大语言模型巢穴中的信息抽取免费乘客》的模型实现。

布谷鸟是一个小型（3亿参数）信息抽取模型，其模仿了大语言模型的下一词预测范式。不同于传统词汇检索方式，布谷鸟通过标记输入上下文中的目标词元进行预测，如下图所示：

该模型与以往信息抽取预训练方法存在本质差异——它能利用任何文本资源进行自我增强，尤其擅长"搭便车"式吸收为大语言模型优化的数据！

当前我们开源了以下预训练版本的布谷鸟模型：

1. 基于C4数据集转换的1亿条下一词抽取实例 (基础版布谷鸟 🐦)

2. 基础版 + 来自TuluV3指令微调数据集的260万条下一词抽取实例 (指令增强版 🐦🛠️)

3. 指令增强版 + MultiNERD/MetaIE/NuNER/MRQA（不含SQuAD和DROP）(彩虹版 🌈🐦🛠️)

4. 彩虹版 + 多NER数据集/WizardLM数据集/多选题数据集/MMLU/SQuAD/DROP/MNLI/SNLI (超级彩虹版 🦸🌈🐦🛠️)

性能展示 🚀

体验布谷鸟模型在各类信息抽取任务中惊人的适应效率！

快速体验下一词抽取功能 ⚡

推荐使用最强的超级彩虹布谷鸟 🦸🌈🐦🛠️ 进行零样本抽取

1️⃣ 首先加载模型和分词器

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch
import spacy

nlp = spacy.load("en_core_web_sm")

device = torch.device("cuda:0")
path = f"KomeijiForce/Cuckoo-C4-Super-Rainbow"
tokenizer = AutoTokenizer.from_pretrained(path)
tagger = AutoModelForTokenClassification.from_pretrained(path).to(device)

2️⃣ 定义下一词抽取函数

def next_tokens_extraction(text):
    # 序列查找函数实现...
    # 文本预处理...
    # 模型预测与结果解析...
    return predictions

3️⃣ 调用函数进行抽取！

案例1：基础实体与关系理解

text = "汤姆和杰克去巴黎旅行了"
# 示例问题列表...
# 输出示例：
# 提到哪些人？ ['汤姆', '杰克']
# 提到哪个城市？ ['巴黎']

案例2：长文本理解

# 贝多芬生平段落...
# 输出示例：
# 提到哪些人？ ['路德维希·范·贝多芬', '约瑟夫·海顿', '沃尔夫冈·阿马德乌斯·莫扎特']
# 贝多芬的职业？ ['作曲家与钢琴家']

案例3：知识问答

# 颜色选择问题...
# 输出示例：
# 草的颜色？ ['绿色']
# 夜晚的颜色？ []  # 空列表表示无有效抽取

文件信息

仓库包含以下文件配置：

特殊词元映射表(special_tokens_map.json)：

{
  "起始符": {"内容": "<s>", "标准化": true},
  "分类符": {"内容": "<s>", "标准化": true},
  "终止符": {"内容": "</s>", "标准化": true},
  "掩码符": {"内容": "<mask>", "左修剪": true},
  "填充符": {"内容": "<pad>", "标准化": true},
  "分隔符": {"内容": "</s>", "标准化": true},
  "未知符": {"内容": "<unk>", "标准化": true}
}

分词器配置(tokenizer_config.json)：

{
  "模型类型": "RobertaTokenizer",
  "最大长度": 512,
  "截断策略": "longest_first",
  "特殊词元配置": {...}
}

模型配置(config.json)：

{
  "架构": ["RobertaForTokenClassification"],
  "隐藏层维度": 1024,
  "注意力头数": 16,
  "标签映射": {"B": 0, "I": 1, "O": 2},
  "词汇量": 50265,
  "torch数据类型": "float32"
}

注：由于文件体积限制，merges.txt（合并表）、vocab.json（词表）和tokenizer.json（分词器序列化文件）的具体内容未完整显示。