基础模型：sentence-transformers/all-MiniLM-L6-v2
库名称：sentence-transformers
流水线标签：句子相似度
标签：

• sentence-transformers
• 句子相似度
• 特征提取
• 训练生成
• 数据集大小：555
• 损失函数：多负例排序损失

示例输入：

• 源句：这段文字对未分类内容有何说明？
  对比句：

  • "这些来源。第三方GAI组件的错误还可能对准确性和鲁棒性产生下游影响。例如，常用于基准测试或验证模型的测试数据集可能包含标签错误。这些标签的不准确性会影响这些基准的'稳定性'或鲁棒性，许多GAI从业者在模型选择过程中会考虑这些因素。可信AI特征：可问责且透明、可解释且可理解、公平且有害偏见受控、隐私增强、安全可靠、有效且可靠。3. 管理GAI风险的推荐措施。以下推荐措施针对GAI特有或加剧的风险。除以下措施外，AI RMF 1.0和Playbook中提出的AI风险管理活动和措施同样适用于管理GAI风险。鼓励组织..."
  • "及硬件漏洞；劳动实践；数据隐私和本地化合规；地缘政治一致性）。数据隐私；信息安全；价值链与组件集成；有害偏见与同质化。MG-3.1-003 在微调或检索增强生成实施后重新评估模型风险，并对初始测试中未评估的应用程序和/或用例部署的任何第三方GAI模型进行重新评估。价值链与组件集成。MG-3.1-004 采取合理措施审查训练数据中的CBRN信息和知识产权，并在适当时删除。实施合理措施以防止、标记或采取其他行动应对复制特定训练数据的输出（例如抄袭、商标、专利、许可内容或商业秘密材料）。知识产权；CBRN信息或能力。43"
  • "• AI生命周期阶段：风险可能出现在设计、开发、部署、运营和/或退役阶段。• 范围：风险可能存在于单个模型或系统级别、应用或实施级别（即特定用例），或生态系统级别——即超越单一系统或组织背景。后者的例子包括因重复使用相同模型而导致的'算法单一文化3'扩展，或对机会获取、劳动力市场和创意经济的影响4。• 风险来源：风险可能源自与GAI模型本身的设计、训练或操作相关的因素，某些情况下源于GAI模型或系统输入，其他情况下源于GAI系统输出。然而，许多GAI风险源于人类行为，包括...3 '算法单一文化'指同一模型或算法重复使用的现象..."

• 源句：这段文字对风险管理有何说明？
  对比句：

  • "鲁棒水印技术及相应检测器以识别内容来源，或元数据记录技术及元数据管理工具和存储库以追踪内容起源和修改。进一步缩小GAI任务定义以包含来源数据，可使组织最大化利用来源数据和风险管理工作的效用。A.1.7. 通过结构化公众反馈增强内容来源。虽然自动错误收集系统等间接反馈方法有用，但它们通常缺乏终端用户直接输入提供的背景和深度。组织可利用预部署测试部分描述的反馈方法，通过AI红队等外部来源获取输入。将部署前后的外部反馈整合到GAI模型的监控流程中..."
  • "监控第三方GAI风险的工具；考虑跨GAI模型库、工具和API、微调模型及嵌入式工具的政策调整；根据事件或漏洞数据库评估GAI供应商、开源或专有GAI工具或GAI服务提供商。数据隐私；人机配置；信息安全；知识产权；价值链与组件集成；有害偏见与同质化。GV-6.1-010 更新GAI可接受使用政策，以涵盖专有和开源GAI技术及数据，以及承包商、顾问和其他第三方人员。知识产权；价值链与组件集成。执行者任务：运营与监控、采购、第三方实体。GOVERN 6.2: 制定应急流程以处理被视为高风险第三方数据或AI系统的故障或事件。行动ID 推荐措施 GAI风险 GV-6.2-001"
  • "措施2.3: 对与部署环境类似条件下的AI系统性能或保证标准进行定性或定量测量并展示。记录测量结果。行动ID 推荐措施 GAI风险 MS-2.3-001 在选择用于微调或检索增强生成的模型时，考虑基准模型在测试套件上的表现。信息安全；虚构。MS-2.3-002 使用经验验证方法评估模型能力声明。虚构；信息安全。MS-2.3-003 与相关GAI执行者（如具有系统发布批准权限的人员）分享预部署测试结果。人机配置。31 MS-2.3-004 使用如NIST Dioptra等专用测试环境，实证评估GAI可信特征。CBRN信息或能力；数据隐私；虚构；信息完整性；信息安全；危险、暴力或..."

• 源句：这段文字对数据隐私有何说明？
  对比句：

  • "财产。我们还注意到，某些风险在这些类别之间存在交叉。4 1. CBRN信息或能力：更容易获取或合成与化学、生物、放射或核（CBRN）武器或其他危险材料或制剂相关的恶意信息或设计能力。2. 虚构：产生自信陈述但错误或虚假内容（俗称'幻觉'或'捏造'），可能误导或欺骗用户6。3. 危险、暴力或仇恨内容：更容易生成和获取暴力、煽动、激进化或威胁内容，以及建议自残或进行非法活动。包括难以控制公众接触仇恨、贬低或刻板印象内容。4. 数据隐私：由于GAI训练和维护期间信息泄露和未经授权使用、披露或去匿名化导致的..."
  • "GAI训练和维护期间的信息。人机配置；淫秽、贬损和/或滥用内容；价值链与组件集成；危险、暴力或仇恨内容。MS-2.6-002 评估系统训练数据中存在或有害偏见、知识产权侵权、数据隐私违规、淫秽、极端主义、暴力或CBRN信息的程度。数据隐私；知识产权；淫秽、贬损和/或滥用内容；有害偏见与同质化；危险、暴力或仇恨内容；CBRN信息或能力。MS-2.6-003 当负面风险超过组织风险承受能力时，重新评估微调模型的安全特性。危险、暴力或仇恨内容。MS-2.6-004 审查GAI系统输出的有效性和安全性：审查生成代码以评估可能因不可靠的下游决策而产生的风险。价值链与组件集成；危险、暴力或仇恨内容"
  • "Scheurer, J.等（2023）技术报告：大型语言模型在压力下可能策略性欺骗用户。arXiv. https://arxiv.org/abs/2311.07590 Shelby, R.等（2023）算法系统的社会技术危害：构建减害分类法。arXiv. https://arxiv.org/pdf/2210.05791 Shevlane, T.等（2023）极端风险的模型评估。arXiv. https://arxiv.org/pdf/2305.15324 Shumailov, I.等（2023）递归的诅咒：在生成数据上训练模型会导致遗忘。arXiv. https://arxiv.org/pdf/2305.17493v2 Smith, A.等（2023）幻觉还是虚构？大型语言模型中神经解剖学作为隐喻。PLOS数字健康。https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000388 Soice, E.等（2023）大型语言模型能否普及双重用途生物技术？arXiv. https://arxiv.org/abs/2306.03809"

基于sentence-transformers/all-MiniLM-L6-v2的SentenceTransformer模型

这是一个基于sentence-transformers/all-MiniLM-L6-v2微调的sentence-transformers模型。它将句子和段落映射到384维密集向量空间，可用于语义文本相似性、语义搜索、释义挖掘、文本分类、聚类等任务。

模型详情

模型描述

• 模型类型： 句子转换器
• 基础模型： sentence-transformers/all-MiniLM-L6-v2
• 最大序列长度： 256个标记
• 输出维度： 384个标记
• 相似性函数： 余弦相似度

模型来源

• 文档： Sentence Transformers文档
• 代码库： GitHub上的Sentence Transformers
• Hugging Face： Hugging Face上的Sentence Transformers

完整模型架构

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

使用方式

直接使用（Sentence Transformers）

首先安装Sentence Transformers库：

pip install -U sentence-transformers

然后加载模型并运行推理：

from sentence_transformers import SentenceTransformer

# 从🤗 Hub下载
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
    '这段文字对数据隐私有何说明？',
    'GAI训练和维护期间的信息。人机配置；淫秽、贬损和/或滥用内容；价值链与组件集成；危险、暴力或仇恨内容。MS-2.6-002 评估系统训练数据中存在或有害偏见、知识产权侵权、数据隐私违规、淫秽、极端主义、暴力或CBRN信息的程度。数据隐私；知识产权；淫秽、贬损和/或滥用内容；有害偏见与同质化；危险、暴力或仇恨内容；CBRN信息或能力。MS-2.6-003 当负面风险超过组织风险承受能力时，重新评估微调模型的安全特性。危险、暴力或仇恨内容。MS-2.6-004 审查GAI系统输出的有效性和安全性：审查生成代码以评估可能因不可靠的下游决策而产生的风险。价值链与组件集成；危险、暴力或仇恨内容',
    'Scheurer, J.等（2023）技术报告：大型语言模型在压力下可能策略性欺骗用户。arXiv. https://arxiv.org/abs/2311.07590 Shelby, R.等（2023）算法系统的社会技术危害：构建减害分类法。arXiv. https://arxiv.org/pdf/2210.05791 Shevlane, T.等（2023）极端风险的模型评估。arXiv. https://arxiv.org/pdf/2305.15324 Shumailov, I.等（2023）递归的诅咒：在生成数据上训练模型会导致遗忘。arXiv. https://arxiv.org/pdf/2305.17493v2 Smith, A.等（2023）幻觉还是虚构？大型语言模型中神经解剖学作为隐喻。PLOS数字健康。https://journals.plos.org/digitalhealth/article?id=10.1371/journal.pdig.0000388 Soice, E.等（2023）大型语言模型能否普及双重用途生物技术？arXiv. https://arxiv.org/abs/2306.03809',
]
embeddings = model.encode(sentences)
print(embeddings.shape)  # [3, 384]

# 获取嵌入的相似度分数
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)  # [3, 3]

训练详情

训练数据集

未命名数据集

• 大小：555个训练样本

• 列：sentence_0和sentence_1

• 基于前555个样本的近似统计：

  	sentence_0	sentence_1
  类型	字符串	字符串
  详情	最小：10个标记 平均：11.2个标记 最大：12个标记	最小：156个标记 平均：199.37个标记 最大：256个标记

• 样本：

  sentence_0	sentence_1
  这段文字对可信度有何说明？	其他系统。 信息完整性；价值链 与组件集成 MP-2.2-002 观察分析GAI系统与外部网络的交互，识别内容来源可能受损时的潜在负面影响。 信息完整性 执行者任务：终端用户 MAP 2.3: 识别并记录科学完整性和TEVV考虑因素，包括实验设计、数据收集和选择（如可用性、代表性、适用性）、系统可信度和构建验证相关因素。 行动ID 推荐措施 GAI风险 MP-2.3-001 通过将GAI输出与已知真实数据对比并使用多种评估方法（如人工监督和自动评估、成熟加密技术、内容输入审查），评估其准确性、质量、可靠性和真实性。 信息完整性 25

• 损失函数：多负例排序损失，参数如下：

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

训练超参数

非默认超参数

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

所有超参数

框架版本

• Python: 3.11.5
• Sentence Transformers: 3.1.1
• Transformers: 4.44.2
• PyTorch: 2.4.1+cpu
• Accelerate: 0.34.2
• Datasets: 3.0.0
• Tokenizers: 0.19.1

引用

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

多负例排序损失

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}