license: apache-2.0 tags:

• 蝾螈（axolotl）
• 训练生成
• 文本生成推理 base_model: mistralai/Mistral-7B-Instruct-v0.2 model_type: mistral pipeline_tag: 文本生成 model-index:
• name: Mistral-7B-抵押贷款-v1版本 results: []

Mistral-7B-抵押贷款-v1版本

模型描述

"Mistral-7B-抵押贷款-v1版本"是基于mistralai/Mistral-7B-Instruct-v0.2微调的专用模型，专注于处理与抵押贷款相关的查询。该模型能提供理解复杂贷款流程和抵押申请所需的关键解答。

使用场景

• 推荐应用：本模型特别适用于金融机构、抵押贷款经纪商和贷款提供商。可集成至客户支持系统，帮助用户理解贷款选项、抵押细则和还款方案。
• 非适用领域：不适用于非金融类咨询，不得用于提供法律、医疗等超出其金融专业领域的建议。

使用示例

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("bitext-llm/Mistral-7B-Mortgage-Loans-v1")
tokenizer = AutoTokenizer.from_pretrained("bitext-llm/Mistral-7B-Mortgage-Loans-v1")

inputs = tokenizer("<s>[INST] 住房贷款需要哪些条件？ [/INST]", return_tensors="pt")
outputs = model.generate(inputs['input_ids'], max_length=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

模型架构

采用MistralForCausalLM架构与LlamaTokenizer，在保留基础模型核心特性的同时，针对抵押贷款领域的理解和响应生成进行了优化。

训练数据

训练数据集专为抵押贷款领域设计，涵盖39种意图类型（如申请贷款、核查贷款条款、再融资贷款、客户服务等），每类意图包含近千条样本。该丰富数据集确保模型能专业应对该领域的广泛咨询需求。数据集结构遵循我们在Hugging Face发布的bitext/Bitext-customer-support-llm-chatbot-training-dataset相同规范，但聚焦抵押贷款场景。

训练流程

超参数配置

• 优化器：AdamW
• 学习率：0.0002（采用余弦学习率调度器）
• 训练轮次：4
• 批量大小：10
• 梯度累积步数：8
• 最大序列长度：8192个标记

训练环境

• Transformers版本：4.40.0.dev0
• 框架：PyTorch 2.2.1+cu121
• 分词器：Tokenizers 0.15.0

局限性与偏差

• 本模型基于领域专用数据集微调，在非金融建议场景下可能表现不佳。
• 用户需注意训练数据中潜在的偏差，模型响应可能无意中反映这些偏差。由于训练数据主要解答通用抵押贷款问题，特定用例中可能存在偏差风险。

伦理考量

使用本模型需秉持负责任态度，考量自动化金融建议的伦理影响。作为该金融领域的基础模型，必须确保其建议与人类专业知识互补，并符合相关金融监管要求。

致谢

本模型由Bitext开发，训练基础设施由Bitext提供。

许可协议

"Mistral-7B-抵押贷款-v1版本"由Bitext Innovations International, Inc.依据Apache 2.0许可证授权。该开源许可允许免费使用、修改和分发模型，但要求必须向Bitext给予适当署名。

Apache 2.0许可核心条款

• 使用权限：允许自由使用、修改和分发本软件。
• 署名要求：使用时须按照原始版权声明和许可要求注明Bitext Innovations International, Inc.的贡献。
• 专利授权：包含来自模型贡献者的专利权利授予。
• 无担保声明：模型按"原样"提供，不附带任何明示或默示担保。

完整许可文本请参阅Apache License 2.0。该许可在尊重Bitext知识产权的前提下，确保模型的广泛自由使用。如需更详细的许可信息或具体法律咨询，请参阅上述官方许可文档。