🚀 AlignScoreCS
AlignScoreCS是一个多任务多语言模型,旨在评估各种自然语言理解(NLU)任务中上下文-声明对的事实一致性。这些任务包括摘要生成、问答(QA)、语义文本相似度(STS)、释义、事实验证(FV)和自然语言推理(NLI)。
该模型在包含700万份文档的大规模多任务数据集上进行了微调,涵盖了捷克语和英语的上述NLU任务。其多语言预训练使其有潜力应用于其他多种语言。模型架构能够通过回归、二元分类或三元分类来处理任务,但为了评估目的,我们建议使用AlignScore函数。
这项工作受到了其英文版本AlignScore: Evaluating Factual Consistency with a Unified Alignment Function的启发。不过,我们在训练时使用了同质批次而非异质批次,并采用了三种不同的架构共享一个编码器。这种设置允许每个架构及其分类头独立使用。
🚀 快速开始
模型信息
属性 |
详情 |
模型类型 |
多任务多语言模型,用于评估捷克语和英语各种NLU任务中的事实一致性 |
训练数据 |
使用了包含700万份文档的大规模多任务数据集,涵盖多种NLU任务,英文数据集通过seamLessM4t翻译成捷克语 |
评估指标 |
BLEURT、BLEU、BERTScore |
许可证 |
CC BY 4.0 |
模型使用
from AlignScoreCS import AlignScoreCS
alignScoreCS = AlignScoreCS.from_pretrained("krotima1/AlignScoreCS")
print(alignScoreCS.score(context="This is context", claim="This is claim"))
✨ 主要特性
- 多任务处理:能够处理多种自然语言理解任务,包括摘要生成、问答、语义文本相似度等。
- 多语言支持:在捷克语和英语数据集上进行微调,且多语言预训练使其有潜力用于其他语言。
- 灵活架构:架构可通过回归、二元分类或三元分类处理任务,每个架构及其分类头可独立使用。
📚 详细文档
评估方法
与论文AlignScore类似,我们使用其AlignScore函数,将上下文大致分块为350个标记,并将声明拆分为句子。每个上下文块与每个声明句子进行评估,并汇总为一个一致性分数。
AlignScoreCS模型基于三个共享一个编码器的XLM - RoBERTa架构构建。
训练架构
我们使用了检查点xlm - roberta - large [xlm - roberta](https://huggingface.co/FacebookAI/xlm - roberta - large)的共享架构,并带有三个用于回归、二元分类和三元分类的线性层来训练模型。
📦 训练数据集
以下表格展示了用于训练模型的数据集,我们使用seamLessM4t将这些英文数据集翻译成了捷克语。
NLP任务 |
数据集 |
训练任务 |
上下文(单词数) |
声明(单词数) |
样本数量 |
自然语言推理(NLI) |
SNLI |
三元分类 |
10 |
13 |
捷克语: 500k 英语: 550k |
|
MultiNLI |
三元分类 |
16 |
20 |
捷克语: 393k 英语: 393k |
|
对抗性NLI |
三元分类 |
48 |
54 |
捷克语: 163k 英语: 163k |
|
DocNLI |
二元分类 |
97 |
285 |
捷克语: 200k 英语: 942k |
事实验证 |
NLI风格的FEVER |
三元分类 |
48 |
50 |
捷克语: 208k 英语: 208k |
|
维生素C |
三元分类 |
23 |
25 |
捷克语: 371k 英语: 371k |
释义 |
QQP |
二元分类 |
9 |
11 |
捷克语: 162k 英语: 364k |
|
PAWS |
二元分类 |
- |
18 |
捷克语: - 英语: 707k |
|
PAWS标注 |
二元分类 |
18 |
- |
捷克语: 49k 英语: - |
|
PAWS未标注 |
二元分类 |
18 |
- |
捷克语: 487k 英语: - |
语义文本相似度(STS) |
SICK |
回归 |
- |
10 |
捷克语: - 英语: 4k |
|
STS基准 |
回归 |
- |
10 |
捷克语: - 英语: 6k |
|
Free - N1 |
回归 |
18 |
- |
捷克语: 20k 英语: - |
问答(QA) |
SQuAD v2 |
二元分类 |
105 |
119 |
捷克语: 130k 英语: 130k |
|
RACE |
二元分类 |
266 |
273 |
捷克语: 200k 英语: 351k |
信息检索 |
MS MARCO |
二元分类 |
49 |
56 |
捷克语: 200k 英语: 5M |
摘要生成 |
WikiHow |
二元分类 |
434 |
508 |
捷克语: 157k 英语: 157k |
|
SumAug |
二元分类 |
- |
- |
捷克语: - 英语: - |
📄 许可证
本项目采用CC BY 4.0许可证。