许可证: 其他
语言:

• 英文
  任务标签: 文本生成
  数据集:
• teknium/openhermes

Puffin-Phi V2 模型卡

基于 Hermes 数据集微调的 Phi-1.5 模型

模型详情

模型来源

本模型训练使用了由我整理的 OpenHermes 数据集，包含超过 240,000 条主要由 GPT-4 生成的合成数据点

用途

欢迎反馈使用场景！

快速上手指南

Phi 不支持 device_map "auto" 且似乎无法以 fp16 格式推理，请使用 bf16。

以下是可运行的推理代码（仍有优化空间）：

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer  

model = AutoModelForCausalLM.from_pretrained("teknium/Puffin-Phi-v2", trust_remote_code=True, torch_dtype=torch.bfloat16).to("cuda")  
tokenizer = AutoTokenizer.from_pretrained("teknium/Puffin-Phi-v2", trust_remote_code=True, torch_dtype=torch.bfloat16)  
inputs = tokenizer(f"### 指令:\n为推特网站写一条差评。\n### 回复:\n", return_tensors="pt", return_attention_mask=False)  
outputs = model.generate(**inputs, max_length=128, do_sample=True, temperature=0.2, top_p=0.9, use_cache=True, repetition_penalty=1.2, eos_token_id=tokenizer.eos_token_id)  
text = tokenizer.batch_decode(outputs)[0]  
print(text)  

提示词格式采用 Alpaca 风格，具体如下：

### 指令:  
<提示内容>  
### 回复:  

训练详情

训练流程

使用 Axolotl 框架训练。查看 wandb 上所有 Puffin 训练记录（本模型对应 wandb 中的 puffin-phi-4）：
https://wandb.ai/teknium1/hermes-phi/runs/hermes-phi-1

评估