{MODEL_NAME}

谷歌通过提供Google Cloud积分支持了这项工作。感谢谷歌对开源的支持！🎉

模型

这是基于mys/bert-base-turkish-cased-nli-mean针对FAQ检索任务微调的版本，而该模型本身又是基于dbmdz/bert-base-turkish-cased针对自然语言推理任务微调的。本模型将问题和答案映射为768维向量，可用于FAQ式聊天机器人和问答流程中的答案检索。训练数据采用clips/mqa数据集的土耳其语子集，经过清洗/过滤后使用多重负样本对称排序损失进行训练。在微调前，我向分词器添加了两个特殊标记（即表示问题的<Q>和表示答案的<A>）并调整了模型嵌入层大小，因此需要先将相关标记添加到序列前再输入模型。具体微调方法及推理使用方式请参考我的配套代码库。以下代码片段摘自该库的推理示例：

使用方法

问题集 = [
    "你好",
    "最近怎么样？",
    "你们提供个人租车服务吗？",
    "你们提供企业租车服务吗？"
]

答案集 = [
    "您好，我能为您提供什么帮助？",
    "我很好谢谢。有什么可以帮您的吗？",
    "不，我们只开展企业租车业务。还有其他可以帮您的吗？",
    "是的，我们提供企业租车服务。需要什么帮助呢？"
]

问题集 = ["<Q>" + q for q in 问题集]
答案集 = ["<A>" + a for a in 答案集]


def 问答匹配(模型, 分词器, 问题集, 答案集, 返回相似度=False):
    问题数 = len(问题集)
    标记 = 分词器(问题集 + 答案集, padding=True, return_tensors='tf')
    嵌入 = 模型(**标记)[0]

    注意力掩码 = tf.cast(标记['attention_mask'], tf.float32)
    样本长度 = tf.reduce_sum(注意力掩码, axis=-1, keepdims=True)
    掩码嵌入 = 嵌入 * tf.expand_dims(注意力掩码, axis=-1)
    掩码嵌入 = tf.reduce_sum(掩码嵌入, axis=1) / tf.cast(样本长度, tf.float32)
    问向量 = tf.math.l2_normalize(掩码嵌入[:问题数, :], axis=1)
    答向量 = tf.math.l2_normalize(掩码嵌入[问题数:, :], axis=1)

    相似度矩阵 = tf.matmul(问向量, 答向量, transpose_b=True)
        
    概率分布 = tf.nn.softmax(相似度矩阵)
    结果 = list(zip(答案集, 概率分布.numpy().squeeze().tolist()))
    排序结果 = sorted(结果, key=lambda x: x[1], reverse=True)
    排序结果 = [{"答案": 答案.replace("<A>", ""), "匹配度": f"{分数:.4f}"} for 答案, 分数 in 排序结果]
    return 排序结果


for 问题 in 问题集:
    结果 = 问答匹配(模型, 分词器, [问题], 答案集)
    print(问题.replace("<Q>", ""))
    print(结果)
    print("---------------------")

输出示例如下：

你好
[{'答案': '您好，我能为您提供什么帮助？', '匹配度': '0.2931'}, {'答案': '我很好谢谢。有什么可以帮您的吗？', '匹配度': '0.2751'}, {'答案': '不，我们只开展企业租车业务。还有其他可以帮您的吗？', '匹配度': '0.2200'}, {'答案': '是的，我们提供企业租车服务。需要什么帮助呢？', '匹配度': '0.2118'}]
---------------------
最近怎么样？
[{'答案': '我很好谢谢。有什么可以帮您的吗？', '匹配度': '0.2808'}, {'答案': '您好，我能为您提供什么帮助？', '匹配度': '0.2623'}, {'答案': '不，我们只开展企业租车业务。还有其他可以帮您的吗？', '匹配度': '0.2320'}, {'答案': '是的，我们提供企业租车服务。需要什么帮助呢？', '匹配度': '0.2249'}]
---------------------
你们提供个人租车服务吗？
[{'答案': '不，我们只开展企业租车业务。还有其他可以帮您的吗？', '匹配度': '0.2861'}, {'答案': '是的，我们提供企业租车服务。需要什么帮助呢？', '匹配度': '0.2768'}, {'答案': '我很好谢谢。有什么可以帮您的吗？', '匹配度': '0.2215'}, {'答案': '您好，我能为您提供什么帮助？', '匹配度': '0.2156'}]
---------------------
你们提供企业租车服务吗？
[{'答案': '是的，我们提供企业租车服务。需要什么帮助呢？', '匹配度': '0.3060'}, {'答案': '不，我们只开展企业租车业务。还有其他可以帮您的吗？', '匹配度': '0.2929'}, {'答案': '我很好谢谢。有什么可以帮您的吗？', '匹配度': '0.2066'}, {'答案': '您好，我能为您提供什么帮助？', '匹配度': '0.1945'}]
---------------------