library_name: transformers language:

• yue license: cc-by-4.0 tags:
• generated_from_trainer pipeline_tag: fill-mask widget:
• text: 香港原本[MASK]一个人烟稀少嘅渔港。 example_title: 系 model-index:
• name: bert-large-cantonese results: []

bert-large-cantonese

模型描述

该模型基于粤语文本从头训练而成。采用大型BERT架构（24层、1024隐藏单元、16个注意力头、3.26亿参数）。

第一阶段训练使用512批次大小在128长度序列上预训练1个周期，第二阶段继续以512批次大小在512长度序列上预训练1个周期。

使用方法

可直接使用pipeline进行掩码语言建模：

from transformers import pipeline

mask_filler = pipeline(
    "fill-mask",
    model="hon9kon9ize/bert-large-cantonese"
)

mask_filler("鸡蛋六只，糖呢就两茶匙，仲有[MASK]橙皮添。")

; [{'score': 0.08160534501075745,
;   'token': 943,
;   'token_str': '个',
;   'sequence': '鸡 蛋 六 只 ， 糖 呢 就 两 茶 匙 ， 仲 有 个 橙 皮 添 。'},
;  {'score': 0.06182105466723442,
;   'token': 1576,
;   'token_str': '啲',
;   'sequence': '鸡 蛋 六 只 ， 糖 呢 就 两 茶 匙 ， 仲 有 啲 橙 皮 添 。'},
;  {'score': 0.04600336775183678,
;   'token': 1646,
;   'token_str': '嘅',
;   'sequence': '鸡 蛋 六 只 ， 糖 呢 就 两 茶 匙 ， 仲 有 嘅 橙 皮 添 。'},
;  {'score': 0.03743772581219673,
;   'token': 3581,
;   'token_str': '橙',
;   'sequence': '鸡 蛋 六 只 ， 糖 呢 就 两 茶 匙 ， 仲 有 橙 橙 皮 添 。'},
;  {'score': 0.031560592353343964,
;   'token': 5148,
;   'token_str': '红',
;   'sequence': '鸡 蛋 六 只 ， 糖 呢 就 两 茶 匙 ， 仲 有 红 橙 皮 添 。'}]

训练超参数

第一阶段训练参数：

• 批次大小：512
• 学习率：1e-4
• 学习率调度器：线性衰减
• 训练周期：1
• 预热比例：0.1

损失曲线见WanDB

第二阶段训练参数：

• 批次大小：512
• 学习率：5e-5
• 学习率调度器：线性衰减
• 训练周期：1
• 预热比例：0.1

损失曲线见WanDB