license: apache-2.0 language:

• en pipeline_tag: sentence-similarity

MiniCOIL v1

MiniCOIL - 一种稀疏的上下文化逐词嵌入模型。
更多细节请参阅文章。

使用方法

该模型需配合FastEmbed库使用。

注意：
此模型需与Qdrant配合使用。向量配置需采用Modifier.IDF参数。

from fastembed import SparseTextEmbedding

model = SparseTextEmbedding(model_name="Qdrant/minicoil-v1")

documents = [
    "fruit bat",  # 果蝠
    "baseball bat",  # 棒球棒
]

embeddings = list(model.embed(documents))
query_embedding = list(model.query_embed("bat in a cave"))  # 洞穴中的蝙蝠

# embeddings[0] - "fruit bat"
# 稀疏嵌入值包含8维特征：前4维表示"fruit"，后4维表示"bat"

# embeddings[1] - "baseball bat"
# 稀疏嵌入值包含5维特征：前4维表示"bat"，最后一维表示未登录词"baseball"的BM25得分

# query_embedding - "bat in a cave"
# 稀疏嵌入值包含8维特征：前4维表示"bat"，后4维表示"cave"，停用词"in"/"a"被移除

# 计算语义相似度
bat_1 = embeddings[0].values[4:8]  # 果蝠中的"bat"向量
bat_2 = embeddings[1].values[:4]   # 棒球棒中的"bat"向量
bat_query = query_embedding[0].values[:4]  # 查询中的"bat"向量

# 通过点积衡量语义相似度
dot_product_1 = (bat_1 * bat_query).sum()  # 果蝠与查询的相似度得分更高(1.6366)
dot_product_2 = (bat_2 * bat_query).sum()  # 棒球棒与查询的相似度得分(0.8536)

# 结果表明"fruit bat"中的"bat"与查询的语义关联性更强