许可证: cc-by-sa-4.0 语言:

• 日语 标签:
• 日语输入
• 假名汉字转换 数据集:
• Miwa-Keita/zenz-v2.5-dataset 管道标签: 文本生成

zenz-v2.5-small

zenz-v2.5是专为假名汉字转换任务设计的基于GPT-2架构的条件语言模型。该模型旨在用于神经假名汉字转换系统"Zenzai"。

• 采用字符级+字节级BPE分词器
• 在假名汉字转换任务中表现卓越
• 通过上下文感知转换实现高性能

zenz-v2.5提供三种规格的模型：

• zenz-v2.5-medium: 3.1亿参数的大规模模型
• zenz-v2.5-small: 9100万参数的中等规模模型
• zenz-v2.5-xsmall: 2600万参数的小规模模型

模型详情

模型描述

本模型使用了CC-BY-SA 4.0许可的ku-nlp/gpt2-small-japanese-char分词器。

本模型同样采用CC-BY-SA 4.0许可协议。

• 开发者: Keita Miwa (𝕏)
• 模型类型: GPT-2
• 支持语言: 日语
• 许可证: CC-BY-SA 4.0

模型来源

本模型设计为与Zenzai（AzooKeyKanaKanjiConverter）配合使用。

• 代码仓库: https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter

数据来源

本模型基于zenz-v2.5-dataset构建。

致谢

在模型构建过程中，我们获得了さくらインターネット株式会社提供的计算资源支持，在此深表感谢。

同时，我们使用了以下库、工具和语言资源来构建本模型：

• MeCab (https://taku910.github.io/mecab/)
• ipadic-NEologd (https://github.com/neologd/mecab-ipadic-neologd)
• torch (https://pypi.org/project/torch/)
• transformers (https://pypi.org/project/transformers/)
• datasets (https://pypi.org/project/datasets/)
• jaconv (https://pypi.org/project/jaconv/)
• llama.cpp (https://github.com/ggerganov/llama.cpp)
• llm.c (https://github.com/karpathy/llm.c)