许可协议：apache-2.0
语言：

• 英文
  库名称：transformers
  数据集：
• allenai/olmo-mix-1124

SuperBPE

这款80亿参数的模型完全从头开始训练，采用了SuperBPE分词器。SuperBPE扩展了BPE算法，既包含传统的子词标记（位于单词边界内），又引入了全新的超词标记（可跨越多词边界）！由于能用更少的标记编码等量文本，该模型在推理阶段的平均效率比传统BPE模型高出30%。

模型基于Olmo2 7B架构与预训练数据构建，上下文长度为2,884个标记（以匹配传统BPE模型4,096标记上下文长度对应的实际字节量），训练总标记量达3,320亿。分词器词汇量为20万，并在词汇量达到16万时实现从子词到超词标记学习的过渡。

使用示例

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("UW/OLMo2-8B-SuperBPE-t160k")
model = AutoModelForCausalLM.from_pretrained("UW/OLMo2-8B-SuperBPE-t160k")

tokenizer.convert_ids_to_tokens(tokenizer.encode("By the way, I am a fan of the Milky Way."))
# 输出：['ByĠtheĠway', ',ĠIĠamĠa', 'ĠfanĠofĠthe', 'ĠMilkyĠWay', '.']

引用文献

@misc{liu-etal-2025-superbpe,
  title={SuperBPE：语言模型的星际穿越}, 
  author={刘丽莎与乔纳森·海斯、瓦伦丁·霍夫曼、苏荣·奥、诺亚·A·史密斯、崔艺珍},
  year={2025},
  eprint={2503.13423},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2503.13423}, 
}