标签:

• 由训练器生成 模型索引:
• 名称: EUBERT 结果: [] 语言:
• 保加利亚语
• 捷克语
• 丹麦语
• 德语
• 希腊语
• 英语
• 西班牙语
• 爱沙尼亚语
• 芬兰语
• 法语
• 爱尔兰语
• 克罗地亚语
• 匈牙利语
• 意大利语
• 立陶宛语
• 拉脱维亚语
• 马耳他语
• 荷兰语
• 波兰语
• 葡萄牙语
• 罗马尼亚语
• 斯洛伐克语
• 斯洛文尼亚语
• 瑞典语 小部件:
• 文本: "向气候中性、可持续、能源和资源高效、循环且公平的经济转型，是确保欧盟经济长期竞争力及其人民福祉的关键。2016年，欧盟签署了《巴黎协定》2。该协定第2条第1款(c)项提出，要通过使资金流动与低温室气体[MASK]和气候适应型发展路径相一致等方式，加强应对气候变化的目标。"

模型卡: EUBERT

概述

• 模型名称: EUBERT
• 模型版本: 1.1
• 发布日期: 2023年10月16日
• 模型架构: BERT（双向编码器表示转换器）
• 训练数据: 欧洲出版局注册的文档
• 模型用途: 文本分类、问答、语言理解

模型描述

EUBERT是一个预训练的无大小写BERT模型，基于欧洲出版局注册的大量文档进行训练。这些文档涵盖了过去30年的内容，提供了包含广泛主题和领域的全面数据集。EUBERT旨在成为一个多功能语言模型，可针对各种自然语言处理任务进行微调，是多种应用的宝贵资源。

预期用途

EUBERT可作为构建更具体自然语言理解模型的起点。其多功能性使其适用于广泛的任务，包括但不限于：

1. 文本分类: EUBERT可针对不同类别对文本文档进行分类，适用于情感分析、主题分类和垃圾邮件检测等应用。

2. 问答: 通过在问答数据集上微调EUBERT，可用于从文本文档中提取答案，促进信息检索和文档摘要等任务。

3. 语言理解: EUBERT可用于一般语言理解任务，包括命名实体识别、词性标注和文本生成。

性能

EUBERT的具体性能指标可能因下游任务及用于微调的训练数据的质量和数量而异。建议用户针对特定任务微调模型并相应评估其性能。

注意事项

• 数据隐私与合规: 用户应确保EUBERT的使用符合所有相关数据隐私和合规法规，尤其是在处理敏感或个人身份信息时。

• 微调: EUBERT在特定任务上的有效性取决于训练数据的质量和数量以及微调过程。细致的实验和评估对于取得最佳结果至关重要。

• 偏见与公平性: 用户应意识到训练数据中潜在的偏见，并在针对特定任务微调EUBERT时采取适当措施以减少偏见。

结论

EUBERT是一个预训练的BERT模型，利用了欧洲出版局的大量文档语料库。它为开发跨广泛应用的自然语言处理解决方案提供了多功能基础，使研究人员和开发者能够为文本分类、问答和语言理解任务创建定制模型。建议用户在针对特定用例微调和评估模型时保持谨慎，同时遵守数据隐私和公平性考量。

训练过程

专用Word Piece分词器词汇量2**16，

训练超参数

训练期间使用了以下超参数:

• 学习率: 5e-05
• 训练批次大小: 32
• 评估批次大小: 32
• 随机种子: 42
• 优化器: Adam，参数为betas=(0.9,0.999)和epsilon=1e-08
• 学习率调度器类型: 线性
• 训练轮数: 1.85

训练结果

即将公布

框架版本

• Transformers 4.33.3
• Pytorch 2.0.1+cu117
• Datasets 2.14.5
• Tokenizers 0.13.3

基础设施

• 硬件类型: 4块24GB GPU
• GPU天数: 16
• 云服务提供商: EuroHPC
• 计算区域: Meluxina

作者

塞巴斯蒂安·坎皮恩 sebastien.campion@europarl.europa.eu