微件:

• 文本: '法国的首都' 示例标题: 法国的首都
• 文本: '英国的首都' 示例标题: 英国的首都
• 文本: '意大利的首都' 示例标题: 意大利的首都
• 文本: '蒙古的首都' 示例标题: 蒙古的首都
• 文本: '拥有亚马逊雨林的国家' 示例标题: 拥有亚马逊雨林的国家
• 文本: '连接欧洲与亚洲的城市' 示例标题: 连接欧洲与亚洲的城市
• 文本: '斑马栖息的大陆' 示例标题: 斑马栖息的大陆
• 文本: '费内巴切队的宿敌' 示例标题: 费内巴切队的宿敌
• 文本: '单腿青蛙' 示例标题: 单腿青蛙
• 文本: '里泽的雨天' 示例标题: 里泽的雨天
• 文本: '生命的意义' 示例标题: 生命的意义
• 文本: '圣约瑟夫' 示例标题: 圣约瑟夫
• 文本: '颜色名称包括' 示例标题: 颜色名称包括
• 文本: '气候变化'
  示例标题: 气候变化
• 文本: '咸味食品中有' 示例标题: 咸味食品中有 语言:
• tr

模型

GPT-2土耳其语模型

模型说明

GPT-2土耳其语模型是针对土耳其语定制的大型数据模型，属于LLM（大语言模型）类别。该模型基于GPT-2架构构建，并采用专门设计的土耳其语分词器。模型能够根据给定起始文本生成类人文本，并在广泛的土耳其语文本数据集上进行训练。训练使用了包含9亿字符的维基百科数据集，其中句子最大长度限制为128个词元（词元=词根及词缀），因此生成文本长度有限。模型采用符合土耳其语拼写规则的分词器，经过750万步训练（约154个周期）。训练使用配备4GB显存的Nvidia Geforce RTX 3050 GPU，并共享16GB GPU资源，总计使用20GB内存。

使用方法

重要提示：模型对字母大小写敏感，提示词应全部使用小写字母。

# 模型推理示例代码
from transformers import GPT2Tokenizer, GPT2LMHeadModel

model_name = "cenkersisman/gpt2-turkish-128-token"
tokenizer = GPT2Tokenizer.from_pretrained(model_name)
model = GPT2LMHeadModel.from_pretrained(model_name)

prompt = "海洋深处存在的"
input_ids = tokenizer.encode(prompt, return_tensors="pt")
output = model.generate(input_ids, max_length=100, pad_token_id=tokenizer.eos_token_id)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

训练过程曲线

局限性与偏见

该模型作为自回归语言模型训练，其核心功能是预测文本序列的下一个词元。尽管语言模型常被用于其他任务，但本模型存在诸多未知特性。训练数据包含已知的粗俗、露骨及不当内容，根据使用场景可能生成社会不可接受的文本。与所有语言模型类似，该模型对特定输入的响应难以预测，可能无预警地产生攻击性内容。建议在发布结果前进行人工审核，通过内容过滤提升输出质量。