🚀 Sarashina1-65B

本仓库提供由 SB Intuitions 训练的日语语言模型。这些模型能够助力自然语言处理相关的任务，为日语相关的文本处理提供强大的支持。

🚀 快速开始

以下展示了如何使用该日语语言模型的代码示例。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina1-65b", torch_dtype=torch.float16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina1-65b")
# If you want to use slow tokenizer
# tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina1-65b", use_fast=False, revision="slow-tokenizer")
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)
 
text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)
 
for t in text:
  print(t)
 

📚 详细文档

模型配置

训练语料

我们使用了最大的网络语料库 Common Crawl语料库 中的日语部分作为训练数据集。为了清理训练语料，我们使用了 CCNet 和 HojiChar。清理后，我们的语料库包含约5500亿个令牌。

分词器

我们使用带有一元语言模型和字节回退的 sentencepiece 分词器。我们不使用日语分词器进行预分词。因此，用户可以直接将原始句子输入到分词器中。

伦理考量和局限性

Sarashina1尚未针对遵循指令进行微调。因此，Sarashina1可能会生成一些无意义的序列、一些不准确的实例或有偏差/令人反感的输出。在使用Sarashina1之前，我们希望开发者根据人类偏好和安全考虑对模型进行微调。

📄 许可证

本项目采用 MIT许可证。