许可证：Apache-2.0

额外授权说明：若需了解我们如何处理您的个人数据，请阅读我们的隐私政策。

Mathstral-7b-v0.1模型卡

Mathstral 7B是基于Mistral 7B开发的专精数学与科学任务的模型。更多细节请参阅官方博客文章。

安装指南

建议配合mistral-inference使用mistralai/Mathstral-7b-v0.1

pip install mistral_inference>=1.2.0

下载方法

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', 'Mathstral-7b-v0.1')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Mathstral-7b-v0.1", allow_patterns=["params.json", "consolidated.safetensors", "tokenizer.model.v3"], local_dir=mistral_models_path)

对话功能

安装mistral_inference后，环境中将出现mistral-demo命令行工具。

mistral-chat $HOME/mistral_models/Mathstral-7b-v0.1 --instruct --max_tokens 256

随后可开始与模型对话，例如输入提示：

"阿尔伯特每周都去冲浪。每次冲浪持续4小时，每小时花费20美元。五周后阿尔伯特总共需要花费多少钱？"

在transformers中使用

通过pip install --upgrade transformers安装最新版库后，可运行如下示例：

from transformers import pipeline
import torch

checkpoint = "mistralai/Mathstral-7b-v0.1"
pipe = pipeline("text-generation", checkpoint, device_map="auto", torch_dtype=torch.bfloat16)

prompt = [{"role": "user", "content": "单位根是什么？"}]
out = pipe(prompt, max_new_tokens = 512)

print(out[0]['generated_text'][-1])
>>> "{'role': 'assistant', 'content': '单位根是指满足方程$z^n = 1$的复数解，其中$n$为正整数。这些根在复平面的单位圆上均匀分布，在数学和物理学中具有多种有趣特性和应用场景。'}"

也可手动进行分词和生成：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

checkpoint = "mistralai/Mathstral-7b-v0.1"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModelForCausalLM.from_pretrained(checkpoint, device_map="auto", torch_dtype=torch.bfloat16)

prompt = [{"role": "user", "content": "单位根是什么？"}]
tokenized_prompt = tokenizer.apply_chat_template(prompt, add_generation_prompt=True, return_dict=True, return_tensors="pt").to(model.device)

out = model.generate(**tokenized_prompt, max_new_tokens=512)
tokenizer.decode(out[0])
>>> '<s>[INST] 单位根是什么？[/INST] 单位根是指满足方程$z^n = 1$的复数解，其中$n$为正整数。这些根在复平面的单位圆上均匀分布，在数学和物理学中具有多种有趣特性和应用场景。</s>'

性能评估

我们在行业标准测试集上对比了Mathstral 7B与同规模开源模型的表现。

Mistral AI团队

阿尔伯特·江、亚历山大·萨布莱罗勒、亚历克西斯·塔克内、阿洛克·科塔里、安托万·鲁、亚瑟·门施、奥黛丽·赫布林-斯图普、奥古斯丁·加罗、奥斯汀·伯基、Bam4d、巴普蒂斯特·布特、博杜安·德莫尼科、布兰奇·萨瓦里、卡罗尔·朗博、卡罗琳·费尔德曼、德文德拉·辛格·查普洛特、迭戈·德拉斯卡萨斯、埃莱奥诺尔·阿尔塞兰、艾玛·布·汉娜、艾蒂安·梅茨格、加斯帕尔·布朗谢、吉安娜·伦吉尔、纪尧姆·布尔、纪尧姆·兰普勒、哈里佐·拉贾奥纳、亨利·鲁塞兹、希舍姆·萨图夫、伊恩·麦克、让-马洛·德利尼翁、杰西卡·查德诺夫斯基、贾斯特斯·穆尔克、卡尔提克·坎德尔瓦尔、劳伦斯·斯图尔特、路易·马丁、路易·泰尔农、露西尔·索尔尼尔、莱利奥·勒纳尔·拉沃、玛格丽特·詹宁斯、玛丽·佩拉、玛丽·托雷利、玛丽-安娜·拉绍、玛乔丽·雅尼维茨、米卡埃尔·塞兹内克、尼古拉·舒尔、尼克拉斯·穆斯、奥利维尔·德加里格斯、帕特里克·冯·普拉滕、保罗·雅各布、保琳·布歇、帕万·库马尔·雷迪、佩里·萨瓦斯、皮埃尔·斯托克、罗曼·索维斯特尔、萨加尔·瓦兹、桑迪普·苏布拉马尼安、索拉布·加尔格、索菲亚·杨、希蒙·安托尼亚克、泰文·勒斯卡奥、蒂博·舒勒、蒂博·拉维尔、托马斯·王、泰奥菲尔·热尔韦、蒂莫西·拉克鲁瓦、瓦莱拉·涅梅奇尼科娃、温迪·尚、威廉·埃尔·赛义德、威廉·马歇尔