license: mit language:

• ja
• en

Sarashina2-13B大语言模型

本仓库提供由SB Intuitions公司训练的大语言模型。

使用方式

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed
 
model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina2-13b", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-13b")
# 如需使用慢速分词器
# tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-13b", use_fast=False）
generator = pipeline("文本生成", model=model, tokenizer=tokenizer)
set_seed(123)
 
text = generator(
    "早上好，今天天气",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)

for t in text:
  print(t)
 

模型配置

训练语料

日语训练数据采用Common Crawl语料库中的日语部分，这是目前最大的网络语料库。我们使用CCNet和HojiChar进行数据清洗，最终日语训练数据包含约1万亿token。

英语训练数据提取自SlimPajama数据集，但移除了可能涉及版权问题的books3语料。

分词处理

我们采用基于unigram语言模型的sentencepiece分词器，支持字节回退机制。特别说明：日语文本无需预先分词，用户可直接输入原始句子进行分词处理。

伦理考量与限制

当前Sarashina2尚未进行指令微调，因此可能生成无意义内容、不准确信息或存在偏见/不当输出。建议开发者在实际应用前，基于人类偏好和安全考量对模型进行微调。

许可协议

MIT开源许可