🚀 拉脱维亚语BERT基础模型（区分大小写）

这是一个基于拉脱维亚语数据进行预训练的BERT模型，采用了掩码语言建模和下一句预测的目标。该模型在 这篇论文 中被提出，并首次通过 GitHub仓库 发布。当前的Hugging Face仓库包含了LVBERT的改进版本。

此模型区分大小写，主要用于在下游自然语言理解任务（如文本分类、命名实体识别、问答）上进行微调。不过，该模型也可直接用于计算上下文嵌入，以完成文本相似度和聚类、语义搜索等任务。

🚀 快速开始

拉脱维亚语BERT基础模型是基于拉脱维亚语数据训练的预训练模型，可用于多种自然语言处理任务。你可以根据需求对其进行微调或直接使用。

✨ 主要特性

• 预训练目标：采用掩码语言建模和下一句预测目标进行预训练。
• 大小写敏感：能够区分大小写，更精准地处理文本。
• 多任务适用性：可用于文本分类、命名实体识别、问答等下游任务，也可直接用于文本相似度和聚类、语义搜索等任务。

📦 安装指南

文档未提供安装步骤，暂不展示。

💻 使用示例

文档未提供代码示例，暂不展示。

📚 详细文档

训练数据

LVBERT在以下语料库的文本上进行了预训练：

• 现代拉脱维亚语平衡语料库
• 拉脱维亚语维基百科
• 新闻门户文章语料库
• 新闻门户评论语料库

总计约5亿个标记。

分词

在训练数据集上训练了一个SentencePiece模型，生成了一个包含32,000个标记的词汇表。然后将其转换为BERT使用的WordPiece格式。

预训练

我们使用了BERT基础配置，包含12层、768个隐藏单元、12个注意力头、512的序列长度、128的小批量大小和32k的标记词汇表。

🔧 技术细节

文档未提供技术实现细节，暂不展示。

📄 许可证

本项目采用Apache-2.0许可证。

📚 引用

如果您使用了LVBERT，请引用以下论文：

@inproceedings{Znotins-Barzdins:2020:BalticHLT,
  author = {Arturs Znotins and Guntis Barzdins},
  title = {{LVBERT: Transformer-Based Model for Latvian Language Understanding}},
  booktitle = {Human Language Technologies - The Baltic Perspective},
  series = {Frontiers in Artificial Intelligence and Applications},
  volume = {328},
  publisher = {IOS Press},
  year = {2020},
  pages = {111-115},
  doi = {10.3233/FAIA200610},
  url = {http://ebooks.iospress.nl/volumearticle/55531}
}