language: es
tags:

• 长文档处理
• LongFormer模型
• 问答系统
• Q&A任务
  datasets:
• BSC-TeMU/SQAC西班牙语问答数据集

基于SQAC微调的西班牙语Longformer问答模型 📖❓

本模型是在西班牙语长文本版Longformer基础上，使用SQAC数据集针对问答任务进行微调的成果。

模型详情 🧠

西班牙语长文本版Longformer是基于RoBERTa架构（此处采用BERTIN版本）的类BERT模型，通过*掩码语言建模(MLM)*在长文档数据（源自BETO项目的all_wikis语料）上进行预训练。该模型支持最长4,096个token的文本序列！

数据集详情 📚

该数据集包含6,247个文本段落和18,817组问答对（每个段落对应1-5个问题），数据来源包括：

• 西班牙语维基百科的百科文章（采用CC-by-sa许可协议）
• 西班牙语维基新闻的报道（采用CC-by许可协议）
• 西班牙语语料库AnCora的文本（混合了多种新闻通讯和文学素材，采用CC-by许可协议）
  本数据集适用于构建抽取式问答系统。

评估指标 📈

（待补充）

快速调用HF流水线 🧪

from transformers import pipeline  
qa_pipe = pipeline("question-answering", model='mrm8488/longformer-base-4096-spanish-finetuned-squad')  
context = '''  
约一年前，总部位于纽约布鲁克林的自然语言处理初创公司Hugging Face发起了BigScience项目——这个国际合作项目汇聚了900多名研究人员，旨在深入理解并提升大语言模型的质量。大语言模型（LLM）作为能够识别、预测和生成文本数据的算法，已同时引起企业家和科技爱好者的关注。但由于开发LLM所需硬件成本高昂，这些模型主要局限于OpenAI和DeepMind等资源雄厚的公司，其他研究人员难以触及。

受欧洲核子研究组织（又名CERN）和大型强子对撞机等机构的启发，BigScience的目标是创建LLM和大型文本数据集，最终为更广泛的人工智能社区提供开源资源。这些模型将在法国巴黎附近的Jean Zay超算上训练，该设备位列全球最强计算机之一。  
'''  
question = "BigScience的目标是什么？"  

qa_pipe({'context':context, 'question': question})  
# 输出结果  

{'answer': '深入理解并提升大语言模型的质量',  
 'end': 305,  
 'score': 0.9999799728393555,  
 'start': 224}  

由Manuel Romero/@mrm8488开发，并得到Narrativa支持

西班牙匠心制作 ❤