license: apache-2.0 language:

• zh tags:
• finance

该仓库包含以百川-13B-Chat为基础模型开发的DISC-FinLLM金融大模型。

请注意：由于项目持续迭代，当前仓库模型权重与线上演示版本可能存在差异。

DISC-FinLLM是面向金融领域的大模型，旨在为金融场景提供专业、智能、全面的金融咨询服务。本模型由复旦大学数据智能与社会计算实验室(Fudan-DISC)研发并开源，是由金融咨询、金融文本分析、金融计算、金融知识检索问答四大模块构成的多专家智能金融系统。这些模块在金融NLP任务、人类测试题、数据分析与时事分析四类评估中均展现出明显优势，证明DISC-FinLLM能为广泛金融领域提供有力支撑。DISC-FinLLM可应用于不同场景实现以下功能：

• 金融咨询：可围绕中文金融语境下的金融话题与用户展开多轮对话，或为用户解释金融专业相关知识。由数据集中的金融咨询指令部分构成。
• 金融文本分析：可帮助用户完成金融文本的信息抽取、情感分析、文本分类、文本生成等NLP任务。由数据集中的金融任务指令训练而成。
• 金融计算：可帮助用户完成数学计算相关任务，除利率、增长率等基础计算外，还支持统计分析，并包含Black-Scholes期权定价模型、EDF预期违约概率模型等金融模型计算。由数据集中的金融计算指令部分训练。
• 金融知识检索问答：可根据金融新闻、研究报告及相关政策文件为用户提供投资建议、时事分析与政策解读。由数据集中的检索增强指令部分训练。

访问项目主页获取更多信息。

DISC-Fin-SFT数据集

DISC-FinLLM是基于高质量金融数据集DISC-Fin-SFT，在通用领域中文大模型Baichuan-13B-Chat上通过LoRA指令微调构建的金融大模型。DISC-Fin-SFT共包含约25万条数据，分为金融咨询指令、金融任务指令、金融计算指令和检索增强指令四个子数据集。

通过Hugging Face Transformers调用

>>>import torch
>>>>>>from transformers import AutoModelForCausalLM, AutoTokenizer
>>>from transformers.generation.utils import GenerationConfig
>>>tokenizer = AutoTokenizer.from_pretrained("Go4miii/DISC-FinLLM", use_fast=False, trust_remote_code=True)
>>>model = AutoModelForCausalLM.from_pretrained("Go4miii/DISC-FinLLM", device_map="auto", torch_dtype=torch.float16, trust_remote_code=True)
>>>model.generation_config = GenerationConfig.from_pretrained("Go4miii/DISC-FinLLM")
>>>messages = []
>>>messages.append({"role": "user", "content": "请解释一下什么是银行不良资产？"})
>>>response = model.chat(tokenizer, messages)
>>>print(response)

免责声明

DISC-FinLLM存在当前大语言模型无法克服的缺陷与不足。虽然能在诸多任务与场景中提供金融领域服务，但模型输出仅供用户参考，不能替代专业金融分析师与金融专家意见，我们期待DISC-FinLLM使用者能对模型输出进行批判性思考。对于使用DISC-FinLLM可能产生的问题、风险或不良后果，我们不承担任何责任。

引用声明

若我们的项目对您的研究工作有所帮助，请引用如下技术报告：

@misc{yue2023disclawllm,
    title={DISC-LawLLM: Fine-tuning Large Language Models for Intelligent Legal Services}, 
    author={Shengbin Yue and Wei Chen and Siyuan Wang and Bingxuan Li and Chenchen Shen and Shujun Liu and Yuxuan Zhou and Yao Xiao and Song Yun and Xuanjing Huang and Zhongyu Wei},
    year={2023},
    eprint={2309.11325},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

开源协议

本仓库代码使用遵循Apache 2.0开源协议。