库名称：peft 基础模型：TinyLlama/TinyLlama-1.1B-Chat-v1.0 数据集：

• BI55/MedText
• keivalya/MedQuad-MedicalQnADataset 管道标签：文本生成

TinyLlama 1.1B 医疗版 🤏🦙

模型描述

这是基于Llama 2 7B的https://huggingface.co/therealcyberlord/llama2-qlora-finetuned-medical的精简版本。

针对<|用户|> <|助手|>指令格式进行了微调

如何开始使用该模型

from peft import PeftModel, PeftConfig
from transformers import AutoModelForCausalLM

config = PeftConfig.from_pretrained("therealcyberlord/TinyLlama-1.1B-Medical")
model = AutoModelForCausalLM.from_pretrained("TinyLlama/TinyLlama-1.1B-Chat-v1.0")
model = PeftModel.from_pretrained(model, "therealcyberlord/TinyLlama-1.1B-Medical")

训练详情

训练数据

使用了两个数据源：

BI55/MedText：https://huggingface.co/datasets/BI55/MedText

MedQuad-MedicalQnADataset：https://huggingface.co/datasets/keivalya/MedQuad-MedicalQnADataset

训练过程

在混合后的组合数据集上进行了1000步训练

框架版本

• PEFT 0.7.2.dev0