库名称: peft 数据集:

• xnli 许可证: cc-by-nc-4.0 任务标签: 句子相似度

这些是为mT5编码器适配的LoRA权重。

多语言句子T5（m-ST5）

该模型是句子T5的多语言扩展版本，基于mT5编码器构建。相关论文详见此处。 m-ST5是一个用于句子嵌入的编码器，其性能已在跨语言语义文本相似性（STS）和句子检索任务中得到验证。

训练数据

模型在XNLI数据集上进行训练。

框架版本

• PEFT 0.4.0.dev0

使用方法

0. 若未安装peft，请先安装。

pip install -q git+https://github.com/huggingface/transformers.git@main git+https://github.com/huggingface/peft.git

1. 加载模型。

from transformers import MT5EncoderModel
from peft import PeftModel

model =  MT5EncoderModel.from_pretrained("google/mt5-xxl")
model.enable_input_require_grads()
model.gradient_checkpointing_enable()
model: PeftModel = PeftModel.from_pretrained(model, "pkshatech/m-ST5")

2. 获取句子嵌入时，使用均值池化。

tokenizer = AutoTokenizer.from_pretrained("google/mt5-xxl", use_fast=False)
model.eval()

texts = ["我是一只狗。","你是一只猫。"]
inputs = tokenizer(
    texts,
    padding=True,
    truncation=True,
    return_tensors="pt",
)
outputs = model(**inputs)
last_hidden_state = outputs.last_hidden_state
last_hidden_state[inputs.attention_mask == 0, :] = 0
sent_len = inputs.attention_mask.sum(dim=1, keepdim=True)
sent_emb = last_hidden_state.sum(dim=1) / sent_len

性能基准

• Tatoeba：英语与其他语言句子对的检索任务。
• BUCC：双语文本挖掘任务，包含英语与四种语言（德语、法语、俄语和中文）之一。
• XSTS：跨语言语义文本相似性任务。

详情及其他内容请参阅论文。