基础模型: tog/TinyLlama-1.1B-alpaca-chat-v1.5
数据集:

• tatsu-lab/alpaca
  推理支持: false
  语言:
• 英文
  许可证: apache-2.0
  模型创建者: tog
  模型名称: TinyLlama-1.1B-alpaca-chat-v1.5
  任务标签: 文本生成
  量化处理者: afrideva
  标签:
• gguf
• ggml
• 量化模型
• q2_k
• q3_k_m
• q4_k_m
• q5_k_m
• q6_k
• q8_0
  示例输入:
• 文本: '###指令:\n什么是大语言模型？请简要说明\n\n### 回答:\n'

tog/TinyLlama-1.1B-alpaca-chat-v1.5-GGUF

tog开发的TinyLlama-1.1B-alpaca-chat-v1.5量化GGUF模型文件

原始模型说明

本模型特性

本聊天模型基于PY007/TinyLlama-1.1B-intermediate-step-715k-1.5T微调，采用tatsu-lab/stanford_alpaca数据集训练。

使用以下指令模板描述任务，并生成恰当回复：

### 指令:  
{指令内容}  

### 回答:  

可通过transformers库调用：

from transformers import AutoTokenizer  
import transformers  
import torch  

model = "tog/TinyLlama-1.1B-alpaca-chat-v1.5"  
tokenizer = AutoTokenizer.from_pretrained(model)  

pipeline = transformers.pipeline(  
    "文本生成",  
    model=model,  
    torch_dtype=torch.float16,  
    device_map="auto")  

sequences = pipeline(  
    '###指令:\n什么是大语言模型？请简要说明\n\n### 回答:\n',  
    do_sample=True,  
    top_k=10,  
    num_return_sequences=1,  
    eos_token_id=tokenizer.eos_token_id,  
    max_length=200)  

for seq in sequences:  
    print(f"{seq['generated_text']}")  

典型输出示例：

将`pad_token_id`设为`eos_token_id`:2以支持开放式生成  
结果: ###指令:  
什么是大语言模型？请简要说明  

### 回答:  
大语言模型是一种通过理解词语上下文来准确识别和解析文本数据的自然语言理解模型，通常基于海量文本语料训练而成。