license: openrail

PMC_LLaMA

为获取医疗领域的基础模型，我们推出了MedLLaMA_13B与PMC_LLaMA_13B。

MedLLaMA_13B基于LLaMA-13B架构初始化，并通过医学语料库进行持续预训练。虽然该模型已掌握专业知识，但仍缺乏指令跟随能力。为此我们构建了指令微调数据集并对优化后的模型进行评估。

如表所示，PMC_LLaMA_13B在医疗问答基准测试中取得了与ChatGPT相当的结果。

使用方式

import transformers
import torch

tokenizer = transformers.LlamaTokenizer.from_pretrained('axiong/PMC_LLaMA_13B')
model = transformers.LlamaForCausalLM.from_pretrained('axiong/PMC_LLaMA_13B')

sentence = '您好，医生'
batch = tokenizer(
    sentence,
    return_tensors="pt", 
    add_special_tokens=False
)
with torch.no_grad():
    generated = model.generate(
        inputs = batch["input_ids"],
        max_length=200,
        do_sample=True,
        top_k=50
    )
    print('模型预测结果: ',tokenizer.decode(generated[0]))