language: zh tags:

• azbert
• 预训练
• 填充掩码 widget:
• text: "$f$ $($ $x$ [MASK] $y$ $)$" example_title: "数学表达式"
• text: "$x$ [MASK] $x$ $等于$ $2$ $x$" example_title: "数学等式"
• text: "通过[MASK]证明当$n$ $大于$ $6$时，$n$的阶乘$大于$ $3$ $n$" example_title: "数学归纳法"
• text: "通过归纳法证明当$n$ [MASK] $大于$ $3$ $n$对于$n$ $大于$ $6$" example_title: "数学证明"
• text: "人生的目标是[MASK]。" example_title: "哲学思考" license: mit

关于

这里我们分享一个预训练的BERT模型，该模型能够识别数学符号。数学符号被特殊处理，并使用pya0进行分词，该方法为LaTeX标记添加了非常有限的新词元（总词汇量仅为31,061）。

该模型在4块Tesla V100 GPU上进行训练，总批次大小为64，使用了来自Math StackExchange的270万句对数据，训练了7个周期。

使用方法

下载并尝试运行

pip install pya0==0.3.2
wget https://vault.cs.uwaterloo.ca/s/gqstFZmWHCLGXe3/download -O ckpt.tar.gz
mkdir -p ckpt
tar xzf ckpt.tar.gz -C ckpt --strip-components=1
python test.py --test_file test.txt

测试文件格式

修改test.txt中的测试样例来进行实验。

测试文件为制表符分隔格式，第一列是您希望在右侧句子中额外掩码的位置（对于数学标记中的词元掩码非常有用）。零表示没有额外的掩码位置。

示例输出

上传至Hugging Face

此仓库托管于Github，并仅在Hugging Face镜像。

要上传至Hugging Face，请使用upload2hgf.sh脚本。 在运行此脚本之前，请确保：

• 模型和分词器的检查点已创建在./ckpt文件夹下
• 模型包含所有必要文件：config.json和pytorch_model.bin
• 分词器包含所有必要文件：added_tokens.json、special_tokens_map.json、tokenizer_config.json、vocab.txt和tokenizer.json
• tokenizer_config.json中没有tokenizer_file字段（有时该字段位于本地~/.cache）
• 已安装git-lfs
• 拥有名为hgf的git远程引用，指向https://huggingface.co/castorini/azbert-base