🚀 九州：面向地球科学的开源基础语言模型

本项目聚焦地球科学领域，利用基础语言模型从海量数据中提取与整合知识，以应对全球变化挑战、推动可持续发展和加速科学发现。通过持续预训练和指令微调，构建了高精度、实用性强的地球科学基础语言模型——九州。

🚀 快速开始

推理示例

以下是使用 JiuZhou-Instruct-v0.2 进行推理的代码示例：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = torch.device("cuda:0") if torch.cuda.is_available() else torch.device("cpu")

model_path = "itpossible/JiuZhou-Instruct-v0.2"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map=device)

text = "What is geoscience?"
messages = [{"role": "user", "content": text}]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)
outputs_id = model.generate(inputs, max_new_tokens=600, do_sample=True)
outputs = tokenizer.batch_decode(outputs_id, skip_special_tokens=True)[0]
print(outputs)

✨ 主要特性

• 专业知识丰富：基于大规模地球科学语料库持续预训练，模型具备丰富的地球科学专业知识。
• 性能卓越：在地球科学任务和通用任务的评估中，均展现出出色的性能，超越了多个基线模型。
• 框架先进：采用了特定领域大语言模型预训练框架（PreparedLLM）和“两阶段预适应预训练”算法，提升了模型的训练效率和性能。

📦 安装指南

项目部署

git clone https://github.com/THU-ESIS/JiuZhou.git
cd JiuZhou
pip install -e ".[torch,metrics]"

模型训练

预训练

llamafactory-cli train examples/train_lora/JiuZhou_pretrain_sft.yaml

指令微调

llamafactory-cli train examples/train_lora/JiuZhou_lora_sft.yaml

与微调后的模型交互

llamafactory-cli chat examples/inference/JiuZhou_lora_sft.yaml

合并指令微调后的 LoRA 权重与原始模型权重

llamafactory-cli export examples/merge_lora/JiuZhou_lora_sft.yaml

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

device = torch.device("cuda:0") if torch.cuda.is_available() else torch.device("cpu")

model_path = "itpossible/JiuZhou-Instruct-v0.2"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map=device)

text = "What is geoscience?"
messages = [{"role": "user", "content": text}]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)
outputs_id = model.generate(inputs, max_new_tokens=600, do_sample=True)
outputs = tokenizer.batch_decode(outputs_id, skip_special_tokens=True)[0]
print(outputs)

📚 详细文档

模型下载

模型性能

地球科学能力

使用 GeoBench 基准测试评估九州模型的性能。在客观任务中，九州模型的表现优于 GPT-3.5：

在主观任务的六项标准中，九州模型的得分也高于基线模型：

通用能力

使用 C-Eval、CMMLU 和 MMLU 三个基准数据集评估九州模型的性能。与 Llama 和 Mistral 模型的其他变体相比，九州模型表现出色：

模型训练过程

训练语料库

语料库由 5000 万篇通用文档和 340 万篇地球科学相关文档组成。

训练框架

使用本研究提出的九州框架。

两阶段预适应预训练（TSPT）

TSPT 提高了有限地球科学数据的使用效率，克服了大语言模型持续预训练中的一些技术瓶颈。 TSPT 与单阶段训练算法的区别：

TSPT 与单阶段预训练算法性能对比：

🔧 技术细节

本研究以 Mistral-7B-v0.1 为基础模型，在大规模地球科学语料库上继续预训练。同时，引入了 特定领域大语言模型预训练框架（PreparedLLM） 和“两阶段预适应预训练”算法，构建了地球科学大语言模型——九州。

📄 许可证

文档中未提及相关许可证信息。

📚 引用

@article{chen2024preparedllm,
  author = {Chen, Zhou and Lin, Ming and Wang, Zimeng and Zang, Mingrun and Bai, Yuqi},
  title = {PreparedLLM: Effective Pre-pretraining Framework for Domain-specific Large Language Models},
  year = {2024},
  journal = {Big Earth Data},
  pages = {1--24},
  doi = {10.1080/20964471.2024.2396159},
  url = {https://doi.org/10.1080/20964471.2024.2396159}
}

🙏 致谢

• LLaMA-Factory
• OpenCompass
• K2
• GeoGalactica
• BB-GeoGPT

🎉 最新消息

• [2024-12-31] 论文 JiuZhou: Open Foundation Language Models and Effective Pre-training Framework for Geoscience 已被 International Journal of Digital Earth 接收发表。代码与数据。
• [2024-10-11] 微信文章：PreparedLLM: Effective Pre-pretraining Framework for Domain-specific Large Language Models。
• [2024-09-06] 发布 ClimateChat 指令模型。
• [2024-08-31] 论文 PreparedLLM: Effective Pre-pretraining Framework for Domain-specific Large Language Models 已被 Big Earth Data 期刊接收发表。
• [2024-08-31] 发布 Chinese-Mistral-7B-Instruct-v0.2 指令模型。在语言理解和多轮对话能力方面有显著提升。
• [2024-06-30] 发布 JiuZhou-Instruct-v0.2 指令模型。在语言理解和多轮对话能力方面有显著提升。
• [2024-05-15] 微信文章：Chinese Vocabulary Expansion Incremental Pretraining for Large Language Models: Chinese-Mistral Released。
• [2024-04-04] 发布 Chinese-Mistral-7B-Instruct-v0.1 指令模型。
• [2024-03-31] 发布 Chinese-Mistral-7B-v0.1 基础模型。
• [2024-03-15] 发布基础版本 JiuZhou-base、指令版本 JiuZhou-instruct-v0.1 和 中间检查点。