language: nl tags:

• 适应
• 回收利用
• gpt2-medium pipeline_tag: 文本生成

荷兰语版回收利用的GPT-2（中等规模，适配词汇嵌入）

维特斯·德弗里斯 • 马尔维娜·尼西姆

模型描述

此模型基于OpenAI GPT-2的中等规模版本（gpt2-medium）。

该模型中的Transformer层权重与原始英文模型完全相同，但词汇层已针对荷兰语词汇重新训练。

详情请参阅我们在arXiv上的论文及Github上的代码。

相关模型

荷兰语

• gpt2-small-dutch-embeddings: 小规模模型，仅重新训练词汇嵌入。
• gpt2-small-dutch: 小规模模型，重新训练词汇嵌入并对完整模型进行额外微调。（推荐）
• gpt2-medium-dutch-embeddings: 中等规模模型，仅重新训练词汇嵌入。

意大利语

• gpt2-small-italian-embeddings: 小规模模型，仅重新训练词汇嵌入。
• gpt2-small-italian: 小规模模型，重新训练词汇嵌入并对完整模型进行额外微调。（推荐）
• gpt2-medium-italian-embeddings: 中等规模模型，仅重新训练词汇嵌入。

使用方法

from transformers import pipeline

pipe = pipeline("text-generation", model="GroNLP/gpt2-medium-dutch-embeddings")

from transformers import AutoTokenizer, AutoModel, TFAutoModel

tokenizer = AutoTokenizer.from_pretrained("GroNLP/gpt2-medium-dutch-embeddings")
model = AutoModel.from_pretrained("GroNLP/gpt2-medium-dutch-embeddings")  # PyTorch
model = TFAutoModel.from_pretrained("GroNLP/gpt2-medium-dutch-embeddings")  # Tensorflow

BibTeX条目

@misc{devries2020good,
      title={As good as new. How to successfully recycle English GPT-2 to make models for other languages}, 
      author={Wietse de Vries and Malvina Nissim},
      year={2020},
      eprint={2012.05628},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}