许可证: cc-by-4.0 语言:

• 英文 评估指标:
• 马修斯相关系数
• 准确率 基础模型:
• state-spaces/mamba-130m 标签:
• 文本分类
• 自然语言推理
• 曼巴模型

11128093-11066053-nli模型卡

基于Mamba状态空间模型在COMP34812数据集上微调的二元自然语言推理分类器。

模型详情

模型描述

本模型扩展了state-spaces/mamba-130m架构，用于二元NLI任务（蕴含与非蕴含）。采用自定义分类头，并在COMP34812 NLI数据集上进行了微调。

• 开发者: Patrick Mermelstein Lyons与Dev Soneji
• 支持语言: 英语
• 模型类型: 监督学习
• 模型架构: 非Transformer（选择性状态空间）
• 微调基础模型: state-spaces/mamba-130m

模型资源

• 代码库: https://huggingface.co/state-spaces/mamba-130m
• 论文文档: https://arxiv.org/pdf/2312.00752.pdf

训练详情

训练数据

COMP34812 NLI训练数据集（闭源任务专用数据集）。包含24.4K组前提-假设对，每组带有二元蕴含标签。

训练流程

训练超参数

  - 学习率: 5e-5
  - 训练批次大小: 4
  - 评估批次大小: 16
  - 训练轮次: 5
  - 学习率调度器: 余弦退火
  - 预热比例: 0.1

速度/规模/耗时

  - 总训练时长: 1小时17分钟
  - 训练轮次: 5
  - 模型大小: ~500MB

评估

测试数据与指标

测试数据

COMP34812 NLI开发集（闭源任务专用数据集）。包含6.7K组前提-假设对，每组带有二元蕴含标签。

评估指标

  - 准确率
  - 马修斯相关系数(MCC)

评估结果

模型取得82.4%的准确率和0.649的MCC值。

技术规格

硬件配置

  - GPU: NVIDIA T4（Google Colab）
  - 显存: 15.0 GB
  - 内存: 12.7 GB
  - 磁盘空间: 模型与数据占用2GB

软件环境

  - Python 3.10+
  - PyTorch框架
  - HuggingFace Transformers库
  - mamba-ssm模块
  - datasets/evaluate/accelerate工具包

偏差/风险/局限

本模型仅限于二元蕴含检测任务，且仅在COMP34812数据集上训练。在其他数据集上的泛化能力未经测试。超过128个token的句子对将被截断。

补充信息

模型检查点和分词器可从https://huggingface.co/patrickmlml/mamba_nli_ensemble获取。超参数设置严格遵循参考文献建议。