语言:

• 中文 许可证: Apache-2.0 标签:
• 句子转换器
• 交叉编码器
• 文本分类
• 训练生成
• 数据集大小:578402
• 损失函数:二元交叉熵损失 基础模型: prajjwal1/bert-tiny 管道标签: 文本排序 库名称: sentence-transformers 评估指标:
• 平均精度(map)
• 前10名平均倒数排名(mrr@10)
• 前10名归一化折损累积增益(ndcg@10) 二氧化碳排放量: 排放量: 7.3866990525881215 能耗: 0.019003501532248668千瓦时 数据来源: codecarbon 训练类型: 微调 云训练: 否 CPU型号: 第13代英特尔酷睿i7-13700K 内存总量: 31.777088165283203GB 训练时长: 0.099小时 使用硬件: 1块NVIDIA GeForce RTX 3090显卡 模型索引:
• 名称: 基于GooAQ训练的BERT-tiny模型 结果: []

基于GooAQ训练的BERT-tiny模型

这是一个从prajjwal1/bert-tiny微调而来的交叉编码器模型，使用sentence-transformers库开发。它可以计算文本对的相似度分数，用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

该模型通过train_script.py脚本训练完成。

模型详情

模型描述

• 模型类型: 交叉编码器
• 基础模型: prajjwal1/bert-tiny
• 最大序列长度: 512个token
• 输出标签数: 1个标签
• 语言: 英语
• 许可证: Apache-2.0

模型来源

• 文档: Sentence Transformers文档
• 文档: 交叉编码器文档
• 代码库: GitHub上的Sentence Transformers
• Hugging Face: Hugging Face上的交叉编码器

使用方式

直接使用(Sentence Transformers)

首先安装Sentence Transformers库:

pip install -U sentence-transformers

然后加载模型进行推理:

from sentence_transformers import CrossEncoder

# 从🤗 Hub下载
model = CrossEncoder("cross-encoder-testing/reranker-bert-tiny-gooaq-bce")
# 计算文本对分数
pairs = [
    ['JavaScript开发人员需求大吗?', "根据开发者技能测试平台DevSkiller的报告，JavaScript是2020年IT行业最需求的技能。这份名为《2020年顶级IT技能报告：需求与招聘趋势》显示，与去年相比，JavaScript与Java的位置发生了互换，Java今年排名第三，落后于SQL。"],
    ['JavaScript开发人员需求大吗?', '两者的主要区别在于：JavaScript是编程语言，而AngularJS是基于JavaScript的框架。...它也是所有基于JavaScript技术(如jquery、angular JS、bootstrap JS等)的基础。Angular JS是用JavaScript编写的框架，采用MVC架构。'],
    ['JavaScript开发人员需求大吗?', 'Java应用程序运行在虚拟机或网页浏览器中，而JavaScript运行在网页浏览器中。Java代码需要编译，而JavaScript代码以文本形式存在于网页中。JavaScript是OOP脚本语言，而Java是OOP编程语言。'],
]
scores = model.predict(pairs)
print(scores.shape)  # 输出:(3,)

# 或根据与单个文本的相似度排序
ranks = model.rank(
    'JavaScript开发人员需求大吗?',
    [
        "根据开发者技能测试平台DevSkiller的报告...",
        '两者的主要区别在于...',
        'Java应用程序运行在...'
    ]
)

评估结果

交叉编码器重排序评估

• 数据集: gooaq-dev, NanoMSMARCO, NanoNFCorpus和NanoNQ
• 使用CrossEncoderRerankingEvaluator评估

训练详情

训练数据集

• 样本数量: 578,402条
• 列: question, answer和label
• 损失函数: BinaryCrossEntropyLoss

训练超参数

• 批量大小: 2048
• 学习率: 0.0005
• 训练轮次: 1
• 预热比例: 0.1
• 随机种子: 12
• 使用BF16: 是

环境影响

通过CodeCarbon测量:

• 能耗: 0.019千瓦时
• 碳排放: 0.007千克CO2
• 训练时长: 0.099小时

引用

BibTeX

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}