数据集：

• 维基百科
• p208p2002/悟道
• C4

语言：

• 中文
• 英文

标签：

• 中文
• 英文
• 生成
• GPT2
• LLaMA

推理参数： max_new_tokens: 50 do_sample: true

示例输入：

• text: 粉圆，在珍珠奶茶中也称波霸或珍珠，是一种

任务类型：文本生成

LLaMA繁体中文120M模型

一个支持双语（繁体中文、英文）预训练的小型语言模型。

尽管生成式AI发展迅猛，但优质的小型中文模型（特别是繁体中文）仍然稀缺。许多现有中文模型甚至未针对中文特性优化词表设计。

本模型采用基于中英文语料重新训练的BPE分词器，能出色处理简繁中文与英文的混合文本。

由于繁体中文语料获取困难，我们采用简体数据集配合简转繁方案进行训练。初步观察显示，模型输出可能存在偏向中国大陆内容的倾向。

考虑到中文场景常伴随英文混用，我们在训练语料中加入了40%比例的英文内容，总计训练量达150亿token。

训练数据集

• 中文维基百科（20230601版）
• 英文维基百科（20230601版）
• 悟道数据集（经简转繁处理）
• C4-RealNewsLike语料

中文BPE分词器

本模型采用专门针对中英文优化的BPE分词器

技术实现详见：https://github.com/p208p2002/BPE-tokenizer-from-zh-wiki

分词测试样本

尚-雅克·卢梭（法语：Jean-Jacques Rousseau，法语发音：[ʒɑ̃ ʒak ʁuso]；1712年6月28日—1778年7月2日）是启蒙时代的法国与日内瓦哲学家、政治理论家、文学家和音乐家。 卢梭的小说作品《爱弥儿》（Émile）是一篇关于全人公民教育的哲学论文，对康德影响甚大。其言情小说《新爱洛伊斯》对前浪漫主义（pre-romanticism）[19]及浪漫主义时期的小说发展十分重要[20]。 不过，一些知名学者认为卢梭虽然预示了浪漫主义的诞生，但是其「现代文学姿态」其实早已「超越了感伤的浪漫主义」，而其崭新的语言观甚至「一直延续到了超现实主义那里」[21]。

本模型分词效果

（展示专业BPE分词结构，完整保留语义单位）

闻仲GPT2对比

（分词存在字节回退问题，编码效率低下且破坏语义连贯性）

LLaMA/LLaMA2原版

（仅支持有限中文，多数汉字仍以原始字节形式处理）