language: zh tags:

• deberta
• 填充掩码 license: mit pipeline_tag: 文本生成

DeBERTa (1.5B) 修复版

这是deberta-v2-xxlarge的更新版本，实现了AutoModelForCausalLM类，使其能够生成文本。此实现基于我们的论文《BERT是生成式上下文学习者》。

本仓库还修复了DeBERTa原始HF实现中的三个问题：

1. 修正了检查点文件中输出嵌入权重的错误名称；
2. 根据原始GitHub仓库，修复了增强掩码解码器（EMD）的实现；
3. 对位置嵌入进行了截断处理，使其支持长序列长度。

示例代码

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("ltg/deberta-xxlarge-fixed", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("ltg/deberta-xxlarge-fixed", trust_remote_code=True).cuda().eval()

prompt = """德语: Hallo, wie geht es Ihnen heute?
英语:"""
prompt = prompt.replace('\n', '\\n ')
input_ids = tokenizer(prompt, return_tensors="pt", add_special_tokens=False).input_ids.cuda()

prediction = model.generate(
    input_ids,
    num_beams=4,
    do_sample=False,
    use_cache=None,
    max_new_tokens=64,
    eos_token_id=tokenizer(".\\", add_special_tokens=False).input_ids[1:]
)
prediction = prediction[0, input_ids.size(1):]
prediction = tokenizer.decode(prediction).rstrip('\\')

# 预期输出: "Hello, how are you doing today?"
print(prediction)

引用

如果您发现DeBERTa对您的工作有帮助，请引用以下论文：

@inproceedings{
  samuel2024berts,
  title={{BERT}是生成式上下文学习者},
  author={David Samuel},
  booktitle={第三十八届神经信息处理系统年会},
  year={2024},
  url={https://openreview.net/forum?id=BCA9NMZkLS}
}

@inproceedings{he2021deberta,
  title={{DeBERTa}: 基于解耦注意力的解码增强{BERT}},
  author={何鹏程 and 刘小东 and 高剑峰 and 陈伟柱},
  booktitle={国际学习表征会议},
  year={2021},
  url={https://openreview.net/forum?id=XPZIaotutsD}
}