language: zh
tags:

• 教育
• K-12基础教育
  license: apache-2.0
  datasets:
• vasugoel/K-12Corpus

K-12BERT模型

K-12BERT是基于K-12Corpus数据集通过持续预训练得到的模型。鉴于BERT类模型在领域适应任务中的卓越表现，我们注意到教育领域（尤其是K-12基础教育）缺乏此类专用模型。为此，我们推出K-12BERT——一个基于BERT架构、通过从开放和专有教育资源中提取的自定义数据集训练的模型。

由于从头训练模型资源消耗巨大，我们采用掩码语言建模（MLM）目标和持续预训练策略。这不仅节省了大量计算资源，还能充分利用BERT的既有知识。为此，我们保留了BERT的原始词表，以评估模型在此条件下的性能表现。

应用场景

我们希望教育领域的研究者与从业者能利用该模型推动教育人工智能的发展。该模型可广泛应用于在线教育平台，我们期待其为下一代教育资源的进步贡献力量。

以下是在PyTorch中使用该模型提取文本特征的示例代码：

from transformers import BertTokenizer, BertModel, AutoTokenizer, AutoModelForMaskedLM  
tokenizer = BertTokenizer.from_pretrained('vasugoel/K-12BERT') # AutoTokenizer.from_pretrained('vasugoel/K-12BERT')  
model = BertModel.from_pretrained("vasugoel/K-12BERT") # AutoModelForMaskedLM.from_pretrained('vasugoel/K-12BERT')  
text = "请替换为任意文本"  
encoded_input = tokenizer(text, return_tensors='pt')  
output = model(**encoded_input)  

引用信息

@misc{https://doi.org/10.48550/arxiv.2205.12335,  
  doi = {10.48550/ARXIV.2205.12335},  
    
  url = {https://arxiv.org/abs/2205.12335},  
    
  author = {Goel, Vasu and Sahnan, Dhruv and V, Venktesh and Sharma, Gaurav and Dwivedi, Deep and Mohania, Mukesh},  
    
  keywords = {计算与语言（cs.CL）, 机器学习（cs.LG）, FOS: 计算机与信息科学, FOS: 计算机与信息科学},  
    
  title = {K-12BERT：面向K-12教育的BERT模型},  
    
  publisher = {arXiv},  
    
  year = {2022},  
    
  copyright = {arXiv.org永久非独占许可}  
}