许可证: mit
语言:

• 日语
• 英语

Sarashina2-7B

本仓库提供由SB Intuitions训练的大型语言模型。

使用方法

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed  

model = AutoModelForCausalLM.from_pretrained("sbintuitions/sarashina2-7b", torch_dtype=torch.bfloat16, device_map="auto")  
tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-7b")  
# 如需使用慢速分词器  
# tokenizer = AutoTokenizer.from_pretrained("sbintuitions/sarashina2-7b", use_fast=False）  
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)  
set_seed(123)  

text = generator(  
    "おはようございます、今日の天気は",  
    max_length=30,  
    do_sample=True,  
    pad_token_id=tokenizer.pad_token_id,  
    num_return_sequences=3,  
)  

for t in text:  
  print(t)  

# 以下示例由sarashina2-7b参数模型生成  
# {'generated_text': 'おはようございます、今日の天気は晴れです。ちょっと風が強い。\n昨日は、久しぶりにゆっくりとしていました。\n2週間位間があいてしまったかも、でもその間に'}  
# {'generated_text': 'おはようございます、今日の天気は曇。朝は曇っていてどんよりしていましたね。昼からは晴れそうですが。気温は徐々に上昇しています。昨日は春らしい陽気でした。'}  
# {'generated_text': 'おはようございます、今日の天気はくもり、少し寒気がします。 この土日に、家族で一泊二日で旅行に行ってきました。といっても、100キロ'}  

配置

训练语料

日语训练数据采用Common Crawl语料库中的日语部分，这是最大的网络语料库。
我们使用CCNet和HojiChar进行数据清洗。
清洗后的日语训练数据包含约1T标记。

英语训练数据提取自SlimPajama，但移除了可能涉及侵权的books3语料。

分词

采用基于unigram语言模型和字节回退的sentencepiece分词器。
不对日语文本进行预分词处理，用户可直接输入原始句子。

伦理考量与限制

Sarashina2尚未针对指令跟随进行优化，可能生成无意义内容、不准确信息或存在偏见/不当输出。
建议开发者在使用前基于人类偏好和安全考量对模型进行微调。

许可证

MIT许可证