Linkbert Base
LinkBERT是基于英文维基百科及超链接信息预训练的BERT改进模型,通过捕捉跨文档关联提升知识密集型任务表现。
下载量 195
发布时间 : 3/8/2022
模型简介
LinkBERT是一种基于Transformer编码器的模型,通过引入文档链接(如超链接)增强跨文档知识关联,适用于问答、文本分类等任务。
模型特点
跨文档链接预训练
利用超链接将关联文档纳入同一上下文,增强知识关联性
兼容BERT架构
可直接替代BERT使用,无需修改下游任务代码
知识密集型任务优化
在问答、阅读理解等任务中表现显著优于原始BERT
模型能力
文本特征提取
掩码语言建模
问答系统构建
文本分类
序列标记
使用案例
知识密集型任务
开放域问答
利用跨文档关联回答复杂问题
在HotpotQA上比BERT-base提升2.2分
文档检索
基于链接关系的文档相关性排序
通用NLP任务
文本分类
情感分析、主题分类等
GLUE平均分比BERT-base高0.4分
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98
智启未来,您的人工智能解决方案智库
简体中文