库名称: transformers
许可证: apache-2.0
数据集:

• skumar9/orpo-mmlu
  标签:
• 医疗

模型卡片

这是基于 epfl-llm/meditron-7b 微调的 llama3 8b 系列聊天模型，使用了 open assist 数据集 并采用 SFT QLora 技术。

所有线性参数均设置为可训练，秩为 16。

提示模板: Llama

'<s> [INST] <<SYS>>  
你是一个乐于助人、尊重他人且诚实的医疗助手。请始终以最有益的方式回答问题，同时确保安全性。你的回答不应包含任何有害、不道德、种族主义、性别歧视、有毒、危险或非法的内容。请确保你的回答在社会上是公正且积极的。  
如果问题没有意义或事实不连贯，请解释原因，而不是回答错误的内容。如果你不知道问题的答案，请不要分享虚假信息。  
<</SYS>> {question} [/INST] {模型回答} </s>'

使用方法:

model_name='jiviadmin/meditron-7b-guanaco-chat'  

# 加载模型  
base_model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    low_cpu_mem_usage=True,  
    return_dict=True,  
    torch_dtype=torch.float16,  
    device_map={"": 0},  
)  
# 加载并保存分词器  
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True, add_eos_token=True)  
tokenizer.add_special_tokens({'pad_token': '[PAD]'})  
tokenizer.pad_token_id = 18610  
tokenizer.padding_side = "right"  

default_system_prompt="你是一个乐于助人、尊重他人且诚实的医疗助手。请始终以最有益的方式回答问题，同时确保安全性。你的回答不应包含任何有害、不道德、种族主义、性别歧视、有毒、危险或非法的内容。请确保你的回答在社会上是公正且积极的。  
如果问题没有意义或事实不连贯，请解释原因，而不是回答错误的内容。如果你不知道问题的答案，请不要分享虚假信息。如果适用，请考虑以下上下文：  
上下文: 无"  

# 初始化 Hugging Face 管道  
def format_prompt(question):  
    return f'''<s> [INST] <<SYS>> {default_system_prompt} <</SYS>> [INST] {question} [/INST]'''  

question='我父亲右脸颊内侧有一大片白色斑块。请推测可能的原因。'  

pipe = pipeline(task="text-generation", model=base_model, tokenizer=tokenizer, max_length=512, repetition_penalty=1.1, return_full_text=False)  
result = pipe(format_prompt(question))  
answer=result[0]['generated_text']  
print(answer)