语言: 希伯来语

缩略图: https://avatars1.githubusercontent.com/u/3617152?norod.jpg 微件示例:

• 文本: "早在古代"
• 文本: "我叫多伦，我想..."
• 文本: "我叫伊齐克，我认为..."
• 文本: "你的猫非常可爱..."

许可证: MIT协议

希伯来语微型GPT-Neo模型

基于EleutherAI的GPT-Neo的希伯来文本生成模型。每个模型均在TPUv3-8上训练完成，该硬件资源通过TPU研究云计划提供。

数据集

1. 多种希伯来语料库集合 - 我已将其公开于此处

2. OSCAR / 未打乱去重希伯来语数据集 - 主页 | 数据集永久链接

开放超大规模爬取ALMAnaCH语料库是通过goclassy架构对Common Crawl语料库进行语言分类和过滤得到的巨型多语言语料库。

训练配置

配置详情见此处

使用方式

Google Colab笔记本

访问此处

简易使用示例代码

!pip install tokenizers==0.10.2 transformers==4.6.0

from transformers import AutoTokenizer, AutoModelForCausalLM
  
tokenizer = AutoTokenizer.from_pretrained("Norod78/hebrew-gpt_neo-tiny")
model = AutoModelForCausalLM.from_pretrained("Norod78/hebrew-gpt_neo-tiny", pad_token_id=tokenizer.eos_token_id)

prompt_text = "我喜欢巧克力和蛋糕"
max_len = 512
sample_output_num = 3
seed = 1000

import numpy as np
import torch

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
n_gpu = 0 if torch.cuda.is_available()==False else torch.cuda.device_count()

print(f"设备: {device}, GPU数量: {n_gpu}")

np.random.seed(seed)
torch.manual_seed(seed)
if n_gpu > 0:
    torch.cuda.manual_seed_all(seed)

model.to(device)

encoded_prompt = tokenizer.encode(
    prompt_text, add_special_tokens=False, return_tensors="pt")

encoded_prompt = encoded_prompt.to(device)

if encoded_prompt.size()[-1] == 0:
        input_ids = None
else:
        input_ids = encoded_prompt

print("输入ID = " + str(input_ids))

if input_ids != None:
  max_len += len(encoded_prompt[0])
  if max_len > 1024:
    max_len = 1024

print("更新后最大长度 = " + str(max_len))

stop_token = "<|endoftext|>"
new_lines = "\n\n\n"

sample_outputs = model.generate(
    input_ids,
    do_sample=True, 
    max_length=max_len, 
    top_k=50, 
    top_p=0.95, 
    num_return_sequences=sample_output_num
)

print(100 * '-' + "\n\t\t输出结果\n" + 100 * '-')
for i, sample_output in enumerate(sample_outputs):

  text = tokenizer.decode(sample_output, skip_special_tokens=True)
  
  # 截取停止标记前的文本
  text = text[: text.find(stop_token) if stop_token else None]

  # 截取三个换行符前的文本
  text = text[: text.find(new_lines) if new_lines else None]

  print("\n{}: {}".format(i, text))
  print("\n" + 100 * '-')