license: apache-2.0 pipeline_tag: sentence-similarity metrics:

• spearmanr

概述

该模型主要用于中文文本间的语义理解任务。
采用CoSENT训练框架，专为**检索增强生成(RAG)**场景优化。

模型下载

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("Mike0307/text2vec-base-chinese-rag")
model = AutoModel.from_pretrained("Mike0307/text2vec-base-chinese-rag")

相似度计算示例

import torch
def mean_pooling(model_output, attention_mask):
  token_embeddings = model_output[0]
  input_mask_expanded = (
    attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
  )
  return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(
    input_mask_expanded.sum(1), min=1e-9
  )

sentences =  [
  "福井舞所属哪家唱片公司？",
  "23岁时出道、血型A型的福井舞是出身于京都的日本女创作歌手，所属唱片公司为J-more。2004年，与WADAGAKI、SHINO组合地下音乐队Poplar，发表了两张专辑，天照和梦死物语。在2006年时退出，2007年10月加入了Avex独立发展。"
]

encode_output = tokenizer(sentences, padding=True, truncation=True, return_tensors="pt", max_length=512)
model_output = model(**encode_output)
embeddings = mean_pooling(model_output, encode_output['attention_mask'])

torch.cosine_similarity(embeddings[0], embeddings[1], dim=0)
# tensor(0.7002)

Langchain RAG应用示例

基于Langchain的RAG实现：https://python.langchain.com/v0.1/docs/use_cases/question_answering/

安装依赖包

pip install --upgrade --quiet  langchain langchain-community

1. 构建检索器

通过langchain_community加载嵌入模型

from langchain_community.embeddings.huggingface import HuggingFaceEmbeddings
model_name = "Mike0307/text2vec-base-chinese-rag"
embeddings = HuggingFaceEmbeddings(model_name=model_name)

使用FAISS向量数据库创建检索器

from langchain.schema import Document
from langchain_community.vectorstores.faiss import FAISS
documents = [
    Document(page_content="埃及圣䴉（学名：Threskiornis aethiopicus），又名埃及圣朱鹭、埃及圣鹭、圣䴉，是撒哈拉以南非洲、伊拉克东南部及以往埃及的一种朱鹭。它们在埃及备受尊敬，经常被制成木乃伊当做托特的象征。它们也被引入到法国、意大利、西班牙及美国。现在，在台湾西部滨海地区也可看到它们。"),
    Document(page_content="随着科技的不断发展和革新，人工智能已经成为了众多企业和机构的重点关注对象。机器学习、自然语言处理、深度神经网络等技术的应用，已经开始推动着人工智能产业的快速发展。从目前的发展情况来看，人工智能不仅可以提高工作效率，降低人力成本，还可以促进产业升级，改善生活品质。"),
    Document(page_content="Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实作而成。"),
    Document(page_content="23岁时出道、血型A型的福井舞是出身于京都的日本女创作歌手，所属唱片公司为J-more。2004年，与WADAGAKI、SHINO组合地下音乐队Poplar，发表了两张专辑，天照和梦死物语。在2006年时退出，2007年10月加入了Avex独立发展。"),
    Document(page_content="协和桥（Pont de la Concorde）是法国巴黎一座跨越塞纳河的拱桥，介于协和广场的堤道（quai des Tuileries）（右岸）和奥赛堤道（quai d'Orsay）（左岸）之间。它在过去曾称为路易十六桥（pont Louis XVI）、革命桥（pont de la Révolution）、协和桥，波旁复辟时期（1814年）复称路易十六桥，1830年再度恢复协和桥名称，直至今日。"),
    Document(page_content="中华民国空气污染指标（Pollutant Standards Index，PSI）是空气污染情况的一项指标，由中华民国行政院环境保护署于1993年扩充测站后推出，目标乃藉由本测站系统监控全台湾所有的空气品质并加以通报改善。空气污染指标为依据监测资料将当日空气中悬浮微粒(PM10)、二氧化硫(SO)、二氧化氮(NO)、一氧化碳 (CO) 及臭氧 (O) 等5种空气污染物浓度数值"),
    Document(page_content="滚石国际音乐股份有限公司 Rock Records Co., Ltd.  曾用名 滚石杂志社 滚石有声出版社 公司类型 股份有限公司 统一编号 22012304 成立 1976年，滚石杂志社 1980年，滚石有声出版社 1986年1月28日（公司登记日期）（38年113天） 创办人 段钟沂、段钟潭 代表人物 段钟沂、段钟潭 "),
]
db = FAISS.from_documents(documents, embeddings)
retriever = db.as_retriever(search_kwargs = {"k" : 1})
retriever.invoke("福井舞所属哪家唱片公司？")
# [Document(page_content='23岁时出道、血型A型的福井舞是出身于京都的日本女创作歌手，所属唱片公司为J-more。2004年，与WADAGAKI、SHINO组合地下音乐队Poplar，发表了两张专辑，天照和梦死物语。在2006年时退出，2007年10月加入了Avex独立发展。')]

2. 自定义HuggingFace大语言模型

当需要本地部署时，可通过以下方式加载HuggingFace模型（遇到问题可参考此仓库）

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

llm_id = "Mike0307/Phi-3-mini-4k-instruct-chinese-lora"
model = AutoModelForCausalLM.from_pretrained(
    llm_id, 
    device_map="mps", # MacOS设备使用mps
    torch_dtype=torch.float32,  # M1芯片可尝试float16
    trust_remote_code=True,
    attn_implementation="eager", # 不使用flash_attn
)
tokenizer = AutoTokenizer.from_pretrained(llm_id)

构建适配Langchain的自定义LLM类

import re
from pydantic import Field
from typing import Any, List, Optional
from langchain.prompts import PromptTemplate
from langchain.schema.runnable import RunnablePassthrough
from langchain_core.callbacks.manager import CallbackManagerForLLMRun
from langchain_core.language_models.llms import LLM

class CustomLLM(LLM):
    model : Any = Field(..., description="HuggingFace大语言模型")
    tokenizer : Any = Field(..., description="对应的tokenizer")
    def __init__(self, model, tokenizer):
        super().__init__(model = model, tokenizer = tokenizer)
    
    def _call(self, prompt: str, stop: Optional[List[str]] = None,
        run_manager: Optional[CallbackManagerForLLMRun] = None,**kwargs: Any,) -> str:
        if stop is not None:
            raise ValueError("不支持stop参数")
        inputs = self.tokenizer(prompt, return_tensors="pt").to(self.model.device)
        outputs = self.model.generate(**inputs, temperature = 0.0, max_length = 500, do_sample = False)
        generated_text = tokenizer.decode(outputs[0], skip_special_tokens=False)
        return self.output_parser(generated_text)
    
    @property
    def _llm_type(self) -> str:
        return "custom"
    
    def output_parser(output):
        pattern = "<\|assistant\|>(.*?)<\|endoftext\|>"
        match = re.search(pattern, output, re.DOTALL)
        if match:
            return match.group(1).strip()
        return output.strip()

3. 构建RAG问答链

整合提示模板、大模型和检索器构建问答系统

import langchain
langchain.debug = True # 调试模式可查看检索过程

prompt = PromptTemplate.from_template(template="<|user|>{documents}\n{question} <|end|>\n<|assistant|>")
llm = CustomLLM(model, tokenizer)
rag = {
    "question" : RunnablePassthrough(),
    "documents" : retriever
} | prompt | llm

## 示例查询
query = "埃及圣䴉是什么？"
rag.invoke(query)
## '埃及圣䴉是一种埃及的朱鹭，它在埃及备受尊敬，经常被制成木乃伊当做托特的象征。它也被引入到法国、意大利、西班牙及美国。现在，在台湾西部滨海地区也可看到埃及圣䴉。'