语言:

• 法语 许可证:
• mit 微件示例:
• 文本: "昨天，埃隆·马斯克"
• 文本: "为什么他"
• 文本: "突然，她" 评估指标:
• 困惑度 库名称: transformers 管道标签: 文本生成

BelGPT-2

首个基于超大规模异构法语语料库（约60GB）预训练的GPT-2模型

使用方法

可通过🤗 transformers库调用BelGPT-2：

import torch
from transformers import GPT2Tokenizer, GPT2LMHeadModel

# 加载预训练模型和分词器
model = GPT2LMHeadModel.from_pretrained("antoiloui/belgpt2")
tokenizer = GPT2Tokenizer.from_pretrained("antoiloui/belgpt2")

# 生成文本示例
model.eval()
output = model.generate(
            bos_token_id=random.randint(1,50000),
            do_sample=True,   
            top_k=50, 
            max_length=100,
            top_p=0.95, 
            num_return_sequences=1
)

# 解码输出
decoded_output = []
for sample in output:
    decoded_output.append(tokenizer.decode(sample, skip_special_tokens=True))
print(decoded_output)

训练数据

以下是用于预训练的所有法语语料库清单：

文档说明

关于预训练模型、实现细节及数据的完整文档请参阅此处。

引用规范

学术引用请采用如下格式：

@misc{louis2020belgpt2,
  作者 = {Louis, Antoine},
  标题 = {{BelGPT-2：基于法语语料预训练的GPT-2模型}},
  年份 = {2020},
  发布方式 = {\url{https://github.com/ant-louis/belgpt2}},
}