许可协议: cc-by-sa-4.0 语言:

• 日语 标签:
• 日语输入法
• 假名汉字转换 数据集:
• Miwa-Keita/zenz-v2.5-dataset 基础模型:
• ku-nlp/gpt2-medium-japanese-char 管道标签: 文本生成

zenz-v2.5小型版

zenz-v2.5是专为假名汉字转换任务设计的GPT-2架构条件语言模型，主要应用于神经网络假名汉字转换系统"Zenzai"。

• 采用字符级+字节级BPE分词器
• 在假名汉字转换任务中表现优异
• 支持上下文感知转换

zenz-v2.5提供三种规格版本：

• zenz-v2.5中型版: 3.1亿参数大型模型
• zenz-v2.5小型版: 9100万参数中型模型
• zenz-v2.5微型版: 2600万参数小型模型

模型详情

模型说明

基于CC-BY-SA 4.0协议提供的ku-nlp/gpt2-medium-japanese-char基础模型构建。

本模型遵循CC-BY-SA 4.0协议开放使用。

• 开发者: 三輪啓太(𝕏)
• 模型类型: GPT-2
• 支持语言: 日语
• 许可协议: CC-BY-SA 4.0
• 微调基础: ku-nlp/gpt2-small-japanese-char

模型来源

本模型专为与Zenzai（AzooKey假名汉字转换器）配合使用而开发。

• 代码仓库: https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter

数据来源

使用zenz-v2.5-dataset数据集构建。

致谢

特别感谢樱花互联网株式会社为本模型开发提供的计算资源支持。

本模型开发过程中使用了以下工具和语言资源：

• MeCab (https://taku910.github.io/mecab/)
• ipadic-NEologd (https://github.com/neologd/mecab-ipadic-neologd)
• torch (https://pypi.org/project/torch/)
• transformers (https://pypi.org/project/transformers/)
• datasets (https://pypi.org/project/datasets/)
• jaconv (https://pypi.org/project/jaconv/)
• llama.cpp (https://github.com/ggerganov/llama.cpp)
• llm.c (https://github.com/karpathy/llm.c)