🚀 DeBERTa v3 xsmall SQuAD 2.0

DeBERTa v3 xsmall SQuAD 2.0 是一个用于问答任务的模型。它在 DeBERTa 的基础上进行了改进，通过解耦注意力和增强掩码解码器提升了性能，在多数自然语言理解任务中表现出色。在 DeBERTa V3 中，进一步使用 ELECTRA 风格的预训练和梯度解耦嵌入共享提高了效率，显著提升了下游任务的模型性能。

🚀 快速开始

Microsoft 报告称，该模型在开发集上的 F1/EM 得分可达 84.8/82.0。

我得到的分数是 81.5/78.3，但我只进行了一次运行，并且没有使用官方的 SQuAD2 评估脚本。我将进行更多的运行，并尽快展示使用官方脚本的结果。

📄 许可证

本项目采用 CC BY 4.0 许可证。

📊 模型信息

🧪 模型示例

DeBERTa v3 Q1

• 上下文：DeBERTa 通过解耦注意力和增强掩码解码器改进了 BERT 和 RoBERTa 模型。通过这两项改进，DeBERTa 在 80GB 训练数据的情况下，在大多数自然语言理解任务上优于 RoBERTa。在 DeBERTa V3 中，我们进一步使用 ELECTRA 风格的预训练和梯度解耦嵌入共享提高了 DeBERTa 的效率。与 DeBERTa 相比，我们的 V3 版本显著提升了下游任务的模型性能。你可以从我们的论文中找到关于新模型的更多技术细节。请查看官方仓库以获取更多实现细节和更新。
• 问题：DeBERTa 版本 3 与之前的版本有何不同？

DeBERTa v3 Q2

• 上下文：DeBERTa 通过解耦注意力和增强掩码解码器改进了 BERT 和 RoBERTa 模型。通过这两项改进，DeBERTa 在 80GB 训练数据的情况下，在大多数自然语言理解任务上优于 RoBERTa。在 DeBERTa V3 中，我们进一步使用 ELECTRA 风格的预训练和梯度解耦嵌入共享提高了 DeBERTa 的效率。与 DeBERTa 相比，我们的 V3 版本显著提升了下游任务的模型性能。你可以从我们的论文中找到关于新模型的更多技术细节。请查看官方仓库以获取更多实现细节和更新。
• 问题：我在哪里可以看到关于 DeBERTa 的新信息？

📈 模型结果