library_name: transformers tags:

• cross-encoder
• sentence-transformers datasets:
• phonemetransformers/CHILDES language:
• en base_model:
• sentence-transformers/all-mpnet-base-v2 pipeline_tag: text-classification

一致性测试模型卡片

模型详情

模型描述

该模型是基于sentence-transformers/all-mpnet-base-v2微调的版本，专门用于对话一致性测试。借助sentence-transformers库的交叉编码器架构，旨在评估给定提示或问题下回答的相关性与连贯性。

• 开发者: Enoch Levandovsky
• 模型类型: 交叉编码器
• 支持语言: 英语
• 许可证: 请查看仓库获取更多信息
• 微调基础模型: sentence-transformers/all-mpnet-base-v2

模型来源

• 代码仓库: Hugging Face模型页
• 演示空间: 一致性测试演示空间

用途

直接使用

该模型专用于评估回答与给定问题的连贯性。可直接用于增强聊天机器人或对话系统，通过预测回答的连贯性或相关性来提升会话代理的质量。

下游应用

可针对特定对话系统进一步微调，或作为大型会话AI框架的组件，确保回答有意义且符合上下文。

非适用场景

该模型不适用于需要复杂情感分析、情绪语调识别或对话连贯性评估之外的任务。

快速开始

使用方式如下：

from sentence_transformers import CrossEncoder
model = CrossEncoder('enochlev/coherence-all-mpnet-base-v2')
output = model.predict([["你最喜欢的颜色是什么？", "蓝色！"],
                        ["你喜欢在户外玩吗？", "我喜欢冰淇淋。"],
                        ["你最喜欢的动物是什么？", "我喜欢狗！"],
                        ["想去公园吗？", "想玩秋千！"],
                        ["你最喜欢的食物是什么？", "我喜欢玩积木。"],
                        ["你有宠物吗？", "有只叫胡须的猫。"],
                        ["晴天最喜欢做什么？", "喜欢和朋友踢足球。"]])

print(output)

输出数组表示连贯性分数，数值越高表示越连贯。

结果示例

输出结果中接近1的分数表示回答连贯相关：

输出 >>> array([0.88097143, 0.04521223, 0.943173  , 0.9436357 , 0.04369843,
                  0.94450355, 0.8392763 ], dtype=float32)

评估与局限

测试数据与指标

模型使用CHILDES数据集进行微调和评估，以确保有效捕捉会话连贯性。

使用建议

需注意该模型虽能预测连贯性，但可能无法完全捕捉讽刺或幽默等微妙会话元素。

环境影响

碳排放估算请参考机器学习影响计算器。该模型训练的具体环境数据未提供，建议遵循通用环保实践。

引用

若引用本模型，请注明Hugging Face仓库页面及原作者Enoch Levandovsky。