AIbase

X

Xlm Roberta Longformer Base 16384

由 severinsimmler 开发
基于XLM-RoBERTa权重初始化的多语言版Longformer模型，支持16384的上下文长度，适用于下游任务的微调。
大型语言模型
Transformers
开源协议:MIT#多语言长文本处理#16384上下文窗口#RoBERTa架构迁移
下载量 5,438
发布时间 : 4/20/2023
模型介绍
内容详情
替代品

模型简介

该模型是XLM-RoBERTa与Longformer架构的结合，支持多语言处理，特别适合需要处理长文本的任务。

模型特点

多语言支持
支持超过100种语言，适用于多语言自然语言处理任务。
长文本处理
基于Longformer架构，支持16384的上下文长度，适合处理长文档。
基于XLM-RoBERTa
使用XLM-RoBERTa权重初始化，继承了其强大的多语言表示能力。

模型能力

文本分类
问答
命名实体识别
长文本处理
多语言文本分析

使用案例

自然语言处理
多语言文档分类
对多语言长文档进行分类。
跨语言问答系统
构建支持多种语言的问答系统。