语言:

• 英文 任务标签: 文本分类 标签:
• 预训练模型 许可证: Apache-2.0 库名称: sentence-transformers

Qwen2-7B-Instruct-embed-base 模型

模型详情

Qwen2是一个包含不同规模解码器语言模型的系列。针对每个规模，我们发布了基础语言模型和对齐后的聊天模型。该系列基于Transformer架构，采用SwiGLU激活函数、注意力QKV偏置、分组查询注意力等先进技术。此外，我们还改进了分词器，使其能自适应多种自然语言和代码。

系统要求

Qwen2的代码已集成至最新版Hugging Face transformers库，建议安装transformers>=4.37.0版本，否则可能遇到以下错误：

KeyError: 'qwen2'

使用说明

本模型已移除'lm_head'层，专用于生成嵌入向量。由于需要进一步微调（如intfloat/e5-mistral-7b-instruct所示），其初始表现可能不尽理想。

推理示例

from sentence_transformers import SentenceTransformer
import torch

# 1. 加载预训练句子转换模型
model = SentenceTransformer("ssmits/Qwen2-7B-embed-base") # 显存≤24GB时使用device = "cpu"

# 待编码句子
sentences = [
    "今天天气真好。",
    "外面阳光明媚！",
    "他开车去了体育场。",
]

# 2. 调用model.encode()计算嵌入向量
embeddings = model.encode(sentences)
print(embeddings.shape)
# 输出：(3, 3584)

# 3. 计算嵌入相似度
# 将numpy数组转为torch张量
embeddings_tensor = torch.tensor(embeddings)

# 使用torch计算余弦相似度矩阵
similarities = torch.nn.functional.cosine_similarity(
    embeddings_tensor.unsqueeze(0), 
    embeddings_tensor.unsqueeze(1), 
    dim=2
)

print(similarities)
# 输出示例：
# tensor([[1.0000, 0.8608, 0.6609],
#         [0.8608, 1.0000, 0.7046],
#         [0.6609, 0.7046, 1.0000]])

注意：测试中该模型需占用超过24GB显存（RTX 4090），建议使用A100或A6000进行推理。

原生Transformers推理

若不使用sentence-transformers库，可按以下方式操作：首先通过transformer模型处理输入，然后对上下文词嵌入执行适当的池化操作。

from transformers import AutoTokenizer, AutoModel
import torch

# 均值池化 - 考虑注意力掩码进行正确平均
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] # 模型输出的首个元素包含所有词元嵌入
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# 待编码句子示例
sentences = ['这是示例句子', '每个句子都将被转换']

# 从HuggingFace Hub加载模型
tokenizer = AutoTokenizer.from_pretrained('ssmits/Qwen2-7B-Instruct-embed-base')
model = AutoModel.from_pretrained('ssmits/Qwen2-7B-Instruct-embed-base') # 显存≤24GB时使用device = "cpu"

# 分词处理
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# 计算词元嵌入
with torch.no_grad():
    model_output = model(**encoded_input)

# 执行均值池化
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])

print("句子嵌入向量：")
print(sentence_embeddings)

多GPU启用方法

from transformers import AutoModel
from torch.nn import DataParallel

model = AutoModel.from_pretrained("ssmits/Qwen2-7B-Instruct-embed-base")
for module_key, module in model._modules.items():
    model._modules[module_key] = DataParallel(module)