license: apache-2.0 language:

• ja pipeline_tag: text-generation

DiffLlama-1B 模型

DiffLlama-1B 是一个从零开始预训练约1000亿标记、参数规模约10亿的大语言模型。该模型创新性地采用了"差分Transformer"架构理念，通过将差分注意力机制融入Llama模型框架，实现了对关键上下文信息的精准聚焦与噪声抑制。

模型特性

• 架构设计: 在Llama模型中集成差分注意力机制
• 参数量: 10亿（1B）可训练参数
• 分块训练技术: 采用降低训练成本的分块训练方法
• μ子优化器: 使用收敛速度优于AdamW的优化器，训练效率提升2倍（等效2000亿标记训练）。实现代码参见此处

训练数据

模型基于以下数据集完成1000亿（100B）标记的单轮训练：

• hotchpotch/fineweb-2-edu-japanese: 约900亿（90B）标记
• HuggingFaceFW/fineweb-edu: 约100亿（10B）标记

使用示例

以下代码演示如何进行文本生成：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed

model = AutoModelForCausalLM.from_pretrained("kajuma/DiffLlama-1B", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("kajuma/DiffLlama-1B")
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)

text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)
for t in text:
    print(t)

许可协议

本模型基于Apache License 2.0授权使用。

致谢

特别感谢株式会社ZEALS提供的"生成AI工程师GPU无偿支持计划"对本项目的大力支持。