数据集：

• mc4 许可证：apache-2.0

ByT5-韩语 - 基础版

ByT5-韩语是谷歌ByT5的韩语定制扩展版本。

韩语音节由三个组成部分（称为字母）：起始辅音、中间元音和可选的结尾辅音；它们类似于字母表中的单个字符。 虽然ByT5的utf-8编码允许多种语言的通用编码，但对于韩语来说并不自然，因为它会拆分每个字母的比特表示。

ByT5-韩语扩展了ByT5的utf-8编码，特别关注韩语音节；每个字母都用一个额外的标记表示。 ByT5-韩语在mC4上进行了预训练，其中70%为韩语，30%为英语。

编码方案

编号: 标记
0: <pad>
1: <eos>
2: <unk>
3~258: utf-8编码
259~277: 起始辅音(초성), 19个(ㄱㄲㄴㄷㄸㄹㅁㅂㅃㅅㅆㅇㅈㅉㅊㅋㅌㅍㅎ)
278~298: 中间元音(중성), 21个(ㅏㅐㅑㅒㅓㅔㅕㅖㅗㅘㅙㅚㅛㅜㅝㅞㅟㅠㅡㅢㅣ)
299~326: 结尾辅音(종성), 无结尾辅音+27个(ㄱㄲㄳㄴㄵㄶㄷㄹㄺㄻㄼㄽㄾㄿㅀㅁㅂㅄㅅㅆㅇㅈㅊㅋㅌㅍㅎ)
327~384: 从<extra_id_0>到<extra_id_57>

示例推理

import torch
from tokenizer import ByT5KoreanTokenizer # https://huggingface.co/everdoubling/byt5-Korean-base/blob/main/tokenizer.py
from transformers import T5ForConditionalGeneration

tokenizer_jamo = ByT5KoreanTokenizer()
model = T5ForConditionalGeneration.from_pretrained('everdoubling/byt5-Korean-base')

input_sentence = '한국어 위키백과(영어: Korean Wikipedia)는 한국어로 운영되는 위키백과의 다언어판 가운데 하나로서, 2002년 10월 11일에 <extra_id_0>. 또한 현재 한국어 위키백과에는 넘겨주기, 토론, 그림 등 페이지로 불리는 모든 문서를 포함하면 총 2,629,860개가 <extra_id_1>되어 있으며, 넘겨주기를 포함한 일반 문서 수는 1,278,560개,[1] 그중 넘겨주기, 막다른 문서를 제외한 일반 문서 수는 573,149개이다.'

input_ids_jamo = tokenizer_jamo(input_sentence).input_ids
outputs_jamo = model_jamo.generate(torch.tensor([input_ids_jamo]))
print(tokenizer_jamo.decode(outputs_jamo[0]))
# <pad><extra_id_0>설립되었다<extra_id_1>đě

更多信息即将发布...