许可协议：Apache-2.0

ZhiLu是基于中文Alpaca2-13B二次开发的金融大语言模型，通过海量中英文语料增量预训练与高质量指令数据对齐实现能力跃升。

该模型在保持通用能力的基础上，重点强化金融领域专业表现。技术细节详见：ZhiLu项目仓库

ZhiLu-13B-Instruct

本仓库提供ZhiLu完整版模型，用户无需额外下载LoRA模块即可直接使用。

数据体系

我们整合了多维度高质量数据源，包括：

• 上市公司公告
• 财经新闻
• 企业年报
• 金融资讯
• 社区问答
• 维基百科等

训练总token量达146.9亿，通用语料与金融语料配比约2:1，中英文比例约2:1。

训练方案

采用LoRA高效训练技术（含emb/lm-head模块），结合FlashAttention-2加速方案。同时发布完整模型（本仓库）与LoRA适配模块

快速调用

import torch
from transformers import LlamaForCausalLM, LlamaTokenizer
model_name_or_path = ""
tokenizer = LlamaTokenizer.from_pretrained(model_name_or_path, use_fast=False, legacy=True)
model = LlamaForCausalLM.from_pretrained(model_name_or_path, torch_dtype=torch.bfloat16,device_map="auto")
inputs = tokenizer("什么是A股？", return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=64, repetition_penalty=1.1)
outputs = tokenizer.decode(outputs.cpu()[0][len(inputs.input_ids[0]):], skip_special_tokens=True)
print(outputs)