标签:

• exbert 语言: 多语言 许可证: mit

TOD-XLMR

TOD-XLMR是基于XLM-RoBERTa开发的对话专用多语言版本模型。该模型按照吴等人论文《TOD-BERT：面向任务对话的预训练自然语言理解》提出的方法，在包含九组人机多轮任务导向对话（TOD）的英语会话语料库上进行预训练，并首次发布于此代码库。

模型采用TOD-BERT提出的双目标联合训练策略，包括掩码语言建模（MLM）和响应对比损失（RCL）。掩码语言建模是BERT架构常用的预训练技术，通过随机替换输入序列中的部分标记为特殊符[MASK]来预测原始被掩码内容。为增强模型对对话结构（即对话时序关系）的捕捉能力，响应对比损失采用批次内负样本对比学习机制实现。

使用方式

在PyTorch中获取文本特征的调用方法如下：

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("umanlp/TOD-XLMR")
model = AutoModelForMaskedLM.from_pretrained("umanlp/TOD-XLMR")

# 输入预处理
text = "此处替换为任意文本"
encoded_input = tokenizer(text, return_tensors='pt')

# 前向计算
output = model(**encoded_input)

也可使用AutoModel加载预训练模型并应用于下游任务：

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("umanlp/TOD-XLMR")
model = AutoModel("umanlp/TOD-XLMR")

# 输入预处理
text = "此处替换为任意文本"
encoded_input = tokenizer(text, return_tensors='pt')

# 前向计算
output = model(**encoded_input)