---

基础模型: sethuiyer/Dr_Samantha-7b
数据集:

• GBaker/MedQA-USMLE-4-options

• cognitivecomputations/samantha-data

• shibing624/medical
  推理: false
  语言:

• 英文

• 中文
  库名称: transformers
  许可证: llama2
  模型创建者: Sethu Iyer
  模型名称: Dr Samantha 7B
  模型类型: llama
  管道标签: 文本生成
  提示模板: |
  以下是描述任务的指令。请撰写恰当完成该请求的回复。

  指令:

  {prompt}

  回复:

量化者: TheBloke
标签:

• llama
• 合并
• 医疗

---

Dr Samantha 7B - GGUF

• 模型创建者: Sethu Iyer
• 原始模型: Dr Samantha 7B

描述

此仓库包含Sethu Iyer的Dr Samantha 7B的GGUF格式模型文件。

这些文件由Massed Compute提供的硬件进行量化。

关于GGUF

GGUF是llama.cpp团队于2023年8月21日引入的新格式，用于替代不再受支持的GGML格式。

以下是已知支持GGUF的客户端和库的不完整列表：

• llama.cpp。GGUF的源项目，提供CLI和服务器选项。
• text-generation-webui，最广泛使用的Web UI，具有许多功能和强大扩展，支持GPU加速。
• KoboldCpp，功能全面的Web UI，支持跨平台和GPU架构的加速，特别适合故事创作。
• GPT4All，免费开源的本地运行GUI，支持Windows、Linux和macOS，具备完整的GPU加速。
• LM Studio，易于使用且功能强大的本地GUI，支持Windows和macOS（Silicon）的GPU加速。Linux版本截至2023年11月27日处于测试阶段。
• LoLLMS Web UI，出色的Web UI，具有许多有趣且独特的功能，包括便于模型选择的完整模型库。
• Faraday.dev，美观易用的基于角色的聊天GUI，支持Windows和macOS（Silicon和Intel），具备GPU加速。
• llama-cpp-python，支持GPU加速的Python库，具备LangChain支持和OpenAI兼容的API服务器。
• candle，专注于性能的Rust ML框架，支持GPU并易于使用。
• ctransformers，支持GPU加速的Python库，具备LangChain支持和OpenAI兼容的AI服务器。注意：截至2023年11月27日，ctransformers已长时间未更新，不支持许多新模型。

可用仓库

• 用于GPU推理的AWQ模型
• 用于GPU推理的GPTQ模型，提供多种量化参数选项
• 用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• Sethu Iyer的原始未量化fp16 PyTorch格式模型，用于GPU推理和进一步转换

提示模板: Alpaca

以下是描述任务的指令。请撰写恰当完成该请求的回复。  

### 指令:  
{prompt}  

### 回复:  

兼容性

这些量化的GGUFv2文件与2023年8月27日之后的llama.cpp兼容，提交版本为d0cee0d。

它们也与许多第三方UI和库兼容——请参阅本README顶部的列表。

量化方法说明

点击查看详情

可用的新方法包括：

• GGML_TYPE_Q2_K - "type-1" 2位量化，包含16个块的超级块，每个块有16个权重。块比例和最小值用4位量化，最终有效使用每权重2.5625位（bpw）。
• GGML_TYPE_Q3_K - "type-0" 3位量化，包含16个块的超级块，每个块有16个权重。比例用6位量化，最终使用每权重3.4375位（bpw）。
• GGML_TYPE_Q4_K - "type-1" 4位量化，包含8个块的超级块，每个块有32个权重。比例和最小值用6位量化，最终使用每权重4.5位（bpw）。
• GGML_TYPE_Q5_K - "type-1" 5位量化，与GGML_TYPE_Q4_K相同的超级块结构，最终使用每权重5.5位（bpw）。
• GGML_TYPE_Q6_K - "type-0" 6位量化，包含16个块的超级块，每个块有16个权重。比例用8位量化，最终使用每权重6.5625位（bpw）。

请参阅下方提供的文件表，了解各文件使用的方法及详情。

提供的文件

名称	量化方法	位数	大小	所需最大RAM	用途
dr_samantha-7b.Q2_K.gguf	Q2_K	2	2.53 GB	5.03 GB	质量损失显著——不推荐大多数用途
dr_samantha-7b.Q3_K_S.gguf	Q3_K_S	3	2.95 GB	5.45 GB	非常小，质量损失高
dr_samantha-7b.Q3_K_M.gguf	Q3_K_M	3	3.30 GB	5.80 GB	非常小，质量损失高
dr_samantha-7b.Q3_K_L.gguf	Q3_K_L	3	3.60 GB	6.10 GB	小，质量损失显著
dr_samantha-7b.Q4_0.gguf	Q4_0	4	3.83 GB	6.33 GB	传统；小，质量损失非常高——推荐使用Q3_K_M
dr_samantha-7b.Q4_K_S.gguf	Q4_K_S	4	3.86 GB	6.36 GB	小，质量损失较大
dr_samantha-7b.Q4_K_M.gguf	Q4_K_M	4	4.08 GB	6.58 GB	中等，平衡质量——推荐
dr_samantha-7b.Q5_0.gguf	Q5_0	5	4.65 GB	7.15 GB	传统；中等，平衡质量——推荐使用Q4_K_M
dr_samantha-7b.Q5_K_S.gguf	Q5_K_S	5	4.65 GB	7.15 GB	大，质量损失低——推荐
dr_samantha-7b.Q5_K_M.gguf	Q5_K_M	5	4.78 GB	7.28 GB	大，质量损失极低——推荐
dr_samantha-7b.Q6_K.gguf	Q6_K	6	5.53 GB	8.03 GB	非常大，质量损失极低
dr_samantha-7b.Q8_0.gguf	Q8_0	8	7.16 GB	9.66 GB	非常大，质量损失极低——不推荐

注意：上述RAM数据假设未启用GPU卸载。如果将层卸载到GPU，将减少RAM使用并改用VRAM。

如何下载GGUF文件

**手动下载者