标签:

• 佛教梵语
• BERT 名称: bert-base-buddhist-sanskrit

bert-base-buddhist-sanskrit

该模型是论文《佛教梵语的嵌入模型》中描述的研究成果中表现最佳的模型，该论文发表于LREC 2022（会议论文集出版后将添加论文链接）。

模型描述

该模型采用bert-base架构和配置，从零开始作为掩码语言模型在梵语参考语料库上进行预训练，并在较小的佛教梵语语料库上进行了微调。

使用方法

model = AutoModelForMaskedLM.from_pretrained("Matej/bert-base-buddhist-sanskrit")
tokenizer = AutoTokenizer.from_pretrained("Matej/bert-base-buddhist-sanskrit", use_fast=True)

预期用途与限制

MIT许可证，无使用限制

训练与评估数据

有关语料库和评估流程的详细信息，请参阅论文《佛教梵语的嵌入模型》。

训练超参数

训练过程中使用了以下超参数：

• 学习率: 5e-05
• 训练批次大小: 28
• 评估批次大小: 4
• 随机种子: 42
• 优化器: 带betas=(0.9,0.999)和epsilon=1e-08的Adam
• 学习率调度器类型: 线性
• 训练轮数: 300.0

框架版本

• Transformers 4.11.2
• Pytorch 1.7.0
• Datasets 1.12.1
• Tokenizers 0.10.3