language:

• en license: apache-2.0 tags:
• sentence-transformers
• cross-encoder
• text-classification
• generated_from_trainer
• dataset_size:578402
• loss:BinaryCrossEntropyLoss base_model: prajjwal1/bert-tiny pipeline_tag: text-ranking library_name: sentence-transformers metrics:
• map
• mrr@10
• ndcg@10 co2_eq_emissions: emissions: 7.3866990525881215 energy_consumed: 0.019003501532248668 source: codecarbon training_type: fine-tuning on_cloud: false cpu_model: 13th Gen Intel(R) Core(TM) i7-13700K ram_total_size: 31.777088165283203 hours_used: 0.099 hardware_used: 1 x NVIDIA GeForce RTX 3090 model-index:
• name: BERT-tiny trained on GooAQ results: []

基于GooAQ训练的BERT-tiny模型

这是一个基于prajjwal1/bert-tiny微调的交叉编码器模型，使用sentence-transformers库开发。它能计算文本对的相似度分数，可用于语义文本相似度、语义搜索、复述挖掘、文本分类、聚类等任务。

该模型通过train_script.py训练完成。

模型详情

模型描述

• 模型类型: 交叉编码器
• 基础模型: prajjwal1/bert-tiny
• 最大序列长度: 512个token
• 输出标签数: 1个标签
• 语言: 英语
• 许可证: apache-2.0

模型来源

• 文档: Sentence Transformers文档
• 交叉编码器文档: 使用指南
• 代码库: GitHub项目
• Hugging Face模型库: 交叉编码器列表

使用方式

直接使用(Sentence Transformers)

首先安装库：

pip install -U sentence-transformers

加载模型进行推理：

from sentence_transformers import CrossEncoder

# 从Hugging Face Hub下载
model = CrossEncoder("cross-encoder-testing/reranker-bert-tiny-gooaq-bce")
# 计算文本对分数
pairs = [
    ['JavaScript开发者需求大吗？', "根据DevSkiller的报告，JavaScript是2020年IT行业最需求的技能..."],
    ['JavaScript开发者需求大吗？', 'JavaScript是编程语言而AngularJS是基于JavaScript的框架...'],
    ['JavaScript开发者需求大吗？', 'Java应用运行在虚拟机或浏览器中，而JavaScript运行在浏览器中...']
]
scores = model.predict(pairs)

# 或对文本进行相似度排序
ranks = model.rank(
    'JavaScript开发者需求大吗？',
    ["根据DevSkiller的报告...", 'JavaScript是编程语言...', 'Java应用运行在虚拟机...']
)

评估指标

交叉编码器重排序

在gooaq-dev、NanoMSMARCO等数据集上的表现：

训练详情

训练数据

• 样本量: 578,402条
• 字段: 问题(question)、答案(answer)、标签(label)
• 标签分布: 正样本约17.1%，负样本约82.9%
• 损失函数: 带权重参数的二元交叉熵损失

训练超参数

• 批次大小: 2048
• 学习率: 0.0005
• 训练轮次: 1
• 预热比例: 0.1
• 随机种子: 12
• 精度: bfloat16

环境影响

• 能耗: 0.019千瓦时
• 碳排放: 0.007千克CO₂
• 训练时长: 0.099小时

训练硬件

• GPU: 1×NVIDIA GeForce RTX 3090
• CPU: 第13代Intel Core i7-13700K
• 内存: 31.78GB

引用

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of EMNLP 2019",
    year = "2019",
    publisher = "ACL"
}