许可协议：apache-2.0
支持语言：

• 英语
  模型库：transformers
  数据集：
• allenai/olmo-mix-1124

SuperBPE模型

这款110亿参数模型采用SuperBPE分词器从头训练而成。SuperBPE论文在传统BPE算法基础上创新性地引入了超词单元（可跨越单词边界），同时保留子词分词能力。其训练和推理计算量（FLOPs）与80亿参数BPE基准模型完全持平。

本模型基于OLMo2-7B架构扩展实现，采用相同预训练数据。主要特性包括：

• 3000token上下文窗口（等效于BPE模型4096token的字节级上下文容量）
• 2380亿token训练量
• 20万词表规模（18万词表时启动超词单元学习机制）

使用示例

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("UW/OLMo2-11B-SuperBPE-t180k")
model = AutoModelForCausalLM.from_pretrained("UW/OLMo2-11B-SuperBPE-t180k")

tokenizer.convert_ids_to_tokens(tokenizer.encode("By the way, I am a fan of the Milky Way."))
# 输出：['ByĠtheĠway', ',ĠIĠam', 'Ġa', 'Ġfan', 'ĠofĠthe', 'ĠMilkyĠWay', '.']

引用规范

@misc{liu-etal-2025-superbpe,
  title={SuperBPE：语言模型的星际穿越}, 
  author={刘丽莎（音译）与乔纳森·哈亚斯等},
  year={2025},
  eprint={2503.13423},
  archivePrefix={arXiv},
  primaryClass={cs.CL},
  url={https://arxiv.org/abs/2503.13423}, 
}