许可证：Apache-2.0
语言：

• 英文
• 日文

编程语言：

• C
• C++
• C#
• Go
• Java
• JavaScript
• Lua
• PHP
• Python
• Ruby
• Rust
• Scala
• TypeScript

任务标签：文本生成
库名称：transformers
推理支持：否

llm-jp-3-13b

本仓库提供由国立信息学研究所大型语言模型研发中心开发的大语言模型。

开发工作部分由GENIAC项目支持。

模型格式：Hugging Face Transformers

依赖库及版本要求

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

使用示例

import torch  
from transformers import AutoTokenizer, AutoModelForCausalLM  
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-13b")  
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-13b", device_map="auto", torch_dtype=torch.bfloat16)  
text = "什么是自然语言处理"  
tokenized_input = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt").to(model.device)  
with torch.no_grad():  
    output = model.generate(  
        tokenized_input,  
        max_new_tokens=100,  
        do_sample=True,  
        top_p=0.95,  
        temperature=0.7,  
        repetition_penalty=1.05,  
    )[0]  
print(tokenizer.decode(output))  

模型详情

• 模型类型： 基于Transformer的语言模型
• 总训练token数： 2.1万亿

分词器

本模型分词器基于huggingface/tokenizers的Unigram字节回退模型，词表条目转换自llm-jp-tokenizer v3.0。关于词表构建流程的详细信息请参阅llm-jp-tokenizer的README（纯SentencePiece训练无法复现我们的词表）。

数据集

预训练

模型使用以下混合数据集进行预训练：

指令调优

模型在以下数据集上进行微调：

评估

llm-jp-eval (v1.3.1)

使用开发集100个样本进行评估：