许可证: cc-by-sa-4.0 语言:

• 日语 标签:
• 日语输入
• 假名汉字转换

zenz-v1

zenz-v1是基于GPT-2架构、专为假名汉字转换任务优化的语言模型，主要应用于神经网络假名汉字转换系统"Zenzai"。

• 9000万参数规模
• 采用字符级+字节级BPE分词器
• 在假名汉字转换任务中，贪婪算法表现优异

模型详情

模型描述

本模型以CC-BY-SA 4.0许可的ku-nlp/gpt2-small-japanese-char作为基础模型进行开发。

本模型遵循CC-BY-SA 4.0协议开放使用。

• 开发者: 三輪啓太 (𝕏)
• 模型类型: GPT-2架构
• 支持语言: 日语
• 许可协议: CC-BY-SA 4.0
• 微调基础模型: ku-nlp/gpt2-small-japanese-char

模型来源

本模型需与Zenzai（AzooKey假名汉字转换器）配套使用。

• 代码仓库: https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter

致谢

本模型的开发得益于以下开源库、工具及语言资源：

• MeCab (https://taku910.github.io/mecab/)
• ipadic-NEologd词典 (https://github.com/neologd/mecab-ipadic-neologd)
• PyTorch框架 (https://pypi.org/project/torch/)
• Transformers库 (https://pypi.org/project/transformers/)
• Datasets数据集工具 (https://pypi.org/project/datasets/)
• Jaconv转换工具 (https://pypi.org/project/jaconv/)
• llama.cpp推理框架 (https://github.com/ggerganov/llama.cpp)