库名称: transformers
许可证: mit
语言:

• 日语
• 英语

Stockmark-2-100B指令测试版

模型描述

Stockmark-2-100B指令测试版是一个从头开始构建的1000亿参数大语言模型，特别专注于日语能力。该模型基于约1.5万亿token的数据进行预训练，其中包含60%英语、30%日语和10%代码数据。预训练完成后，模型通过日语合成数据进行了指令跟随能力的增强训练，这些合成数据由Qwen2.5-32B指令模型生成。

作为测试版本，Stockmark-2-100b指令测试版仍在持续改进和评估中。用户的反馈与见解将帮助我们完善后续版本。

详情请参阅我们的博客。

本项目获得GENIAC支持。

使用方法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("stockmark/Stockmark-2-100B-Instruct-beta")
model = AutoModelForCausalLM.from_pretrained(
    "stockmark/Stockmark-2-100B-Instruct-beta", device_map="auto", torch_dtype=torch.bfloat16
)

instruction = "什么是自然语言处理？"
input_ids = tokenizer.apply_chat_template(
    [{"role": "user", "content": instruction}], add_generation_prompt=True, return_tensors="pt"
).to(model.device)

with torch.inference_mode():
    tokens = model.generate(
        input_ids,
        max_new_tokens = 512,
        do_sample = True,
        temperature = 0.7,
        top_p = 0.95,
        repetition_penalty = 1.05
    )
    
output = tokenizer.decode(tokens[0], skip_special_tokens=True)
print(output)

许可证

MIT

开发团队

Stockmark株式会社

作者

大见贵博