library_name: transformers tags:

• legal license: mit language:
• en

Equall/Saul-Base-v1

这是专为法律领域定制的大型指令语言模型Equall/Saul-Base的基础模型。该模型通过对Mistral-7B进行持续预训练获得。

模型详情

模型描述

这是托管在Hugging Face Hub上的transformers模型卡片。本模型卡片为自动生成内容。

• 开发团队: Equall.ai与巴黎中央理工-高等电力学院、索邦大学、里斯本高等理工学院及新里斯本大学法学院合作开发
• 模型类型: 70亿参数
• 支持语言: 英语
• 许可协议: MIT

模型来源

• 论文: https://arxiv.org/abs/2403.03883

使用场景

适用于涉及文本生成的法律应用场景。

以下是使用🤗 Transformers的pipeline()函数运行该模型的方法：

# 从源码安装transformers（仅v4.34及以下版本需要）
# pip install git+https://github.com/huggingface/transformers.git
# pip install accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="Equall/Saul-Instruct-v1", torch_dtype=torch.bfloat16, device_map="auto")
# 使用tokenizer的聊天模板格式化消息 - 参见https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "user", "content": "[在此输入您的查询]"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=False)
print(outputs[0]["generated_text"])

偏差、风险与局限性

本模型基于大语言模型技术构建，存在固有局限性：可能偶尔生成不准确或无意义的输出。作为70亿参数规模的模型，其性能表现预计将弱于700亿参数等更大规模的模型。

引用

BibTeX格式:

@misc{colombo2024saullm7b,
      title={SaulLM-7B: 法律领域先驱性大语言模型}, 
      author={Pierre Colombo and Telmo Pessoa Pires and Malik Boudiaf and Dominic Culver and Rui Melo and Caio Corro and Andre F. T. Martins and Fabrizio Esposito and Vera Lúcia Raposo and Sofia Morgado and Michael Desa},
      year={2024},
      eprint={2403.03883},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}