许可证: mit
语言:

• ja
  库名称: transformers
  管道标签: text-generation
  标签:
• japanese
• llama-2
• 由AWS Trainium驱动

stockmark/stockmark-13b

Stockmark-13b 是一个基于约2200亿标记日语语料库从头预训练的130亿参数大语言模型。该模型由 Stockmark Inc. 开发。

详情请参阅我们的 博客。

本项目获得 AWS大语言模型开发支持计划 支持。

我们还提供了 stockmark-13b-instruct，这是stockmark-13b的指令调优版本。

使用方法

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

# 适用于A100或H100 GPU  
model = AutoModelForCausalLM.from_pretrained("stockmark/stockmark-13b", device_map="auto", torch_dtype=torch.bfloat16)  

# 若使用T4或V100 GPU，请通过以下代码加载8位量化模型  
# 需通过`pip install bitsandbytes`安装`bitsandbytes`库  
# model = AutoModelForCausalLM.from_pretrained("stockmark/stockmark-13b", device_map={"": 0}, load_in_8bit=True)  

tokenizer = AutoTokenizer.from_pretrained("stockmark/stockmark-13b")  

inputs = tokenizer("自然言語処理とは", return_tensors="pt").to(model.device)  
with torch.no_grad():  
    tokens = model.generate(  
        **inputs,  
        max_new_tokens=128,  
        do_sample=True,  
        temperature=0.7  
    )  
    
output = tokenizer.decode(tokens[0], skip_special_tokens=True)  
print(output)  

示例:

• LoRA微调: https://huggingface.co/stockmark/stockmark-13b/blob/main/notebooks/LoRA.ipynb

训练数据集

我们使用了总计约2200亿标记的日语语料库。

加速器与库

• 加速器: AWS Trainium
  • https://aws.amazon.com/machine-learning/trainium/
• 分布式训练库: neuronx-nemo-megatron
  • https://github.com/aws-neuron/neuronx-nemo-megatron

许可证

MIT

开发机构

Stockmark Inc.

作者

Takahiro Omi