基于《罪与罚》训练的Reformer模型

《罪与罚》是陀思妥耶夫斯基创作的小说，并已被翻译成英文。

训练数据取自gs://trax-ml/reformer/crime-and-punishment-2554.txt，包含约50万个词元。

ReformerLM模型使用Flax框架，通过作者提供的Colab笔记本进行训练：https://colab.research.google.com/github/google/trax/blob/master/trax/models/reformer/text_generation.ipynb，权重已转换为Hugging Face的PyTorch版ReformerLM模型ReformerModelWithLMHead。

该模型是一个基于子词单元的语言模型，可按以下方式生成文本：

model = ReformerModelWithLMHead.from_pretrained("google/reformer-crime-and-punishment")
tok = ReformerTokenizer.from_pretrained("google/reformer-crime-and-punishment")
tok.decode(model.generate(tok.encode("A few months later", return_tensors="pt"), do_sample=True,temperature=0.7, max_length=100)[0])

# 输出示例：'几个月后，公寓里发生的事情超出了他的想象。  
# “我已经...” “那不是我的想法，他早把他忘了。  
# 这有什么关系？你到底想说什么？不过是另一个家伙罢了，”他边说边往外走，仿佛他需要...'