🚀 NorMistral-7b-warm

NorMistral-7b-warm 是一个大型挪威语模型，它基于 Mistral-7b-v0.1 初始化，并在总共 2600 亿子词标记（使用挪威公开文本重复六次）上进行持续预训练。

该模型是 NORA.LLM 系列的一部分，由奥斯陆大学语言技术小组、高性能语言技术 (HPLT) 项目、挪威国家图书馆和图尔库大学合作开发。所有模型都在相同的数据集上进行预训练，并使用相同的分词器。NorMistral-7b-warm 拥有超过 70 亿个参数，基于 Mistral 架构构建。

NORA.LLM 语言模型系列目前包括：

• NorMistral-7b-warm：基于 Mistral-7b-v0.1 初始化，并在挪威语数据上持续预训练的大语言模型；
• NorMistral-7b-scratch：基于 Mistral 架构，在挪威语数据上从头开始预训练的大语言模型；
• NorBLOOM-7b-scratch：基于 BLOOM 架构，在挪威语数据上从头开始预训练的大语言模型。

免责声明：此模型在原始（主要是基于网络的）文本数据上进行预训练。它未经过微调以遵循指令，在不适当的用户提示下可能会生成有害的完成内容。它主要用于研究目的。

🚀 快速开始

以下是使用该模型进行英语到挪威语机器翻译的简单零样本提示示例：

from transformers import AutoTokenizer, AutoModelForCausalLM

# First, we will have to import the tokenizer and the language model
tokenizer = AutoTokenizer.from_pretrained("norallm/normistral-7b-warm")
model = AutoModelForCausalLM.from_pretrained("norallm/normistral-7b-warm").cuda().eval()

# Now we will define the zero-shot prompt template
prompt = """Engelsk: {0}
Bokmål:"""

# A function that will take care of generating the output
@torch.no_grad()
def generate(text):
    text = prompt.format(text)
    input_ids = tokenizer(text, return_tensors='pt').input_ids.cuda()
    prediction = model.generate(
        input_ids,
        max_new_tokens=64,
        do_sample=False,
        eos_token_id=tokenizer('\n').input_ids
    )
    return tokenizer.decode(prediction[0, input_ids.size(1):]).strip()

# Now you can simply call the generate function with an English text you want to translate:
generate("I'm super excited about this Norwegian NORA model! Can it translate these sentences?")
# > this should output: 'Jeg er super spent på denne norske NORA modellen! Kan den oversette disse setningene?'

✨ 主要特性

• 基于 Mistral 架构，拥有超过 70 亿个参数，在挪威语数据上进行预训练。
• 支持多种自然语言处理任务，如情感分析、阅读理解、语法错误纠正和机器翻译等。
• 提供多种量化版本，可根据不同的硬件资源和质量要求进行选择。

📦 安装指南

在约 16GB VRAM 的 GPU 上使用示例（可在 Google Colab 中尝试）

如果你想以 8 位加载模型，需要安装 bitsandbytes：

pip install bitsandbytes
pip install accelerate

安装 llama-cpp-python 包

根据你的系统，运行以下命令之一：

# Base llama-ccp-python with no GPU acceleration
pip install llama-cpp-python
# With NVidia CUDA acceleration
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llama-cpp-python
# Or with OpenBLAS acceleration
CMAKE_ARGS="-DLLAMA_BLAS=ON -DLLAMA_BLAS_VENDOR=OpenBLAS" pip install llama-cpp-python
# Or with CLBLast acceleration
CMAKE_ARGS="-DLLAMA_CLBLAST=on" pip install llama-cpp-python
# Or with AMD ROCm GPU acceleration (Linux only)
CMAKE_ARGS="-DLLAMA_HIPBLAS=on" pip install llama-cpp-python
# Or with Metal GPU acceleration for macOS systems only
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python

# In windows, to set the variables CMAKE_ARGS in PowerShell, follow this format; eg for NVidia CUDA:
$env:CMAKE_ARGS = "-DLLAMA_OPENBLAS=on"
pip install llama-cpp-python

💻 使用示例

基础用法

以下是使用该模型进行英语到挪威语机器翻译的简单零样本提示示例：

from transformers import AutoTokenizer, AutoModelForCausalLM

# First, we will have to import the tokenizer and the language model
tokenizer = AutoTokenizer.from_pretrained("norallm/normistral-7b-warm")
model = AutoModelForCausalLM.from_pretrained("norallm/normistral-7b-warm").cuda().eval()

# Now we will define the zero-shot prompt template
prompt = """Engelsk: {0}
Bokmål:"""

# A function that will take care of generating the output
@torch.no_grad()
def generate(text):
    text = prompt.format(text)
    input_ids = tokenizer(text, return_tensors='pt').input_ids.cuda()
    prediction = model.generate(
        input_ids,
        max_new_tokens=64,
        do_sample=False,
        eos_token_id=tokenizer('\n').input_ids
    )
    return tokenizer.decode(prediction[0, input_ids.size(1):]).strip()

# Now you can simply call the generate function with an English text you want to translate:
generate("I'm super excited about this Norwegian NORA model! Can it translate these sentences?")
# > this should output: 'Jeg er super spent på denne norske NORA modellen! Kan den oversette disse setningene?'

高级用法

使用 llama-cpp-python 加载模型的示例代码

from llama_cpp import Llama

# Directly from huggingface-hub (requires huggingface-hub to be installed)
# Set gpu_layers to the number of layers to offload to GPU. Set to 0 if no GPU acceleration is available on your system.
llm = Llama.from_pretrained(
  repo_id="norallm/normistral-7b-warm",  # HuggingFace repository containing the GGUF files.
  filename="*Q4_K_M.gguf", # suffix of the filename containing the level of quantization. 
  n_ctx=32768,  # The max sequence length to use - note that longer sequence lengths require much more resources
  n_threads=8,            # The number of CPU threads to use, tailor to your system and the resulting performance
  n_gpu_layers=35         # The number of layers to offload to GPU, if you have GP

📚 详细文档

预训练语料库

该模型仅在公开可用的数据上进行持续预训练。我们结合了 NCC 语料库的公开部分、清理后的 HPLT 语料库和 CulturaX 的资源。这总共产生了超过 340 亿个挪威语（书面挪威语或新挪威语）的子词标记，相当于约 267 亿个以空格分隔的标记。我们还使用 Starcoder 增强了语料库；2600 亿个标记中有 20% 是从这个代码语料库中采样的。根据 Muennighoff 等人 (2023) 的研究结果，自然语言数据重复了六次，以达到 2600 亿个标记的预训练预算。

模型详情

初始评估

我们的模型评估仍在进行中，并非详尽无遗。我们提供了在标准自然语言理解和生成任务上的初始评估结果，并且我们的评估设计将不断扩展。用户应针对其特定的模型应用场景进行评估，包括安全和偏差评估。

困惑度

在 挪威语大型语料库 (NCC) 的保留验证集 上的困惑度为 7.43，最终训练困惑度为 4.76。

下游评估

我们在阅读理解、情感分析和机器翻译任务上进行了初始下游评估，使用了开源同行评审的挪威语数据集和基准。我们在 这里 发布了我们的代码库。我们将其与其他官方支持挪威语的预训练生成式语言模型进行了比较：NB-GPT-J、GPT-Sw3 6.7B、GPT-Sw3 6.7B v2 和 Falcon-7B；我们还包括了 Mistral-7b-v0.1 的评估。

情感分析

NoReC (Øvrelid 等人, 2020) 是一个从挪威语评论语料库 (Velldal 等人, 2018) 派生的句子级情感分析数据集。我们使用该任务的二元表述（积极 vs. 消极）。

阅读理解

NorQuAD (Ivanova 等人, 2023) 是一个用于挪威语提取式问答的数据集，设计类似于 SQuAD (Rajpurkar 等人, 2016)。

语法错误纠正

ASK-RAW 是由 Matias Jentoft (2023) 创建的挪威语语法错误纠正 (GEC) 数据集。

机器翻译

Tatoeba (Tiedemann, 2020) 是一个机器翻译基准，包括数百种语言对。我们考虑了六种语言对（英语 <-> 书面挪威语、英语 <-> 新挪威语和书面挪威语 <-> 新挪威语）。

硬件和软件

训练因素： 模型在 芬兰的 LUMI 集群 上使用 Megatron-DeepSpeed 库进行预训练。 碳足迹： 预训练一个模型大约需要 70000 GPU 小时的计算时间，使用 AMD MI250X GPU（假设每个 AMD MI250X 设备有 2 个 GPU），每个 GPU 功耗为 500W。LUMI 是世界上最节能的数据中心之一，其能源消耗 100% 由可再生电力覆盖。

量化

提供的文件

如何从 Python 代码运行

你可以使用 llama-cpp-python 从 Python 中使用 GGUF 模型。

如何在 Python 代码中加载此模型，使用 llama-cpp-python

完整文档请参阅：llama-cpp-python 文档。

🔧 技术细节

该模型基于 Mistral 架构，使用优化的变压器架构进行自回归语言建模。它在挪威语数据上进行预训练，使用了多种公开可用的语料库，并结合了代码语料库进行增强。模型的训练使用了 Megatron-DeepSpeed 库，在芬兰的 LUMI 集群上进行。训练过程中考虑了多种因素，如学习率、上下文长度等。同时，模型提供了多种量化版本，以满足不同硬件资源和质量要求。

📄 许可证

本项目采用 Apache-2.0 许可证。