许可证：apache-2.0
支持语言：

• 英语
• 日语

编程语言支持：

• C
• C++
• C#
• Go
• Java
• JavaScript
• Lua
• PHP
• Python
• Ruby
• Rust
• Scala
• TypeScript

任务标签：文本生成
库名称：transformers
推理支持：否

llm-jp-3-8x13b-instruct3

LLM-jp-3是由国立信息学研究所大型语言模型研发中心开发的大语言模型系列。本仓库提供llm-jp-3-8x13b-instruct3模型。关于不同参数规模的LLM-jp-3模型概览，请参考：

• LLM-jp-3预训练模型集
• LLM-jp-3微调模型集

模型格式：Hugging Face Transformers

所需库及版本

• torch>=2.3.0
• transformers>=4.40.1
• tokenizers>=0.19.1
• accelerate>=0.29.3
• flash-attn>=2.5.8

使用示例

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("llm-jp/llm-jp-3-8x13b-instruct3")
model = AutoModelForCausalLM.from_pretrained("llm-jp/llm-jp-3-8x13b-instruct3", device_map="auto", torch_dtype=torch.bfloat16)
chat = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "自然言語処理とは何か"},
]
tokenized_input = tokenizer.apply_chat_template(chat, add_generation_prompt=True, tokenize=True, return_tensors="pt").to(model.device)
with torch.no_grad():
    output = model.generate(
        tokenized_input,
        max_new_tokens=100,
        do_sample=True,
        top_p=0.95,
        temperature=0.7,
        repetition_penalty=1.05,
    )[0]
print(tokenizer.decode(output))

模型详情

• 模型类型：基于Transformer的语言模型
• 总训练token数：2.1T tokens

如需了解LLM-jp-3 MoE系列的预训练详情，请参阅技术博客。

分词器

本模型分词器基于huggingface/tokenizers的Unigram字节回退模型，词表由llm-jp-tokenizer v3.0转换而来。词表构建方法详见llm-jp-tokenizer的README（纯SentencePiece训练无法复现我们的词表）。

训练数据

预训练数据

模型使用以下混合数据集进行预训练：

后训练数据

我们通过监督微调和直接偏好优化对预训练模型进行对齐。

监督微调数据

直接偏好优化数据

评估结果

llm-jp-eval (v1.4.1)

我们使用开发集的100个样本进行评估（跳过代码生成CG任务）。

日语MT Bench

使用gpt-4o-2024-08-06评估，分数为五轮推理评估的平均值（详见评测代码）。

AnswerCarefully安全评估

基于AnswerCarefully测试集的LLM-as-a-Judge安全评估（方法详见论文），使用gpt-4-0613进行五轮评估。

风险与限制

当前发布的模型处于研发早期阶段，尚未充分优化以确保输出符合人类意图与安全要求。

联系邮箱

llm-jp(at)nii.ac.jp

许可证

Apache License 2.0

引用方式

若您觉得我们的工作有帮助，请引用论文：

@inproceedings{
    nakamura2025dropupcycling,
    title={Drop-Upcycling: Training Sparse Mixture of Experts with Partial Re-initialization},
    author={Taishi Nakamura and Takuya Akiba and Kazuki Fujii and Yusuke Oda and Rio Yokota and Jun Suzuki},
    booktitle={The Thirteenth International Conference on Learning Representations},
    year={2025},
    url={https://openreview.net/forum?id=gx1wHnf5Vp}
}

模型卡作者

按姓氏字母排序
清丸浩一、儿玉隆、中村大志