许可协议：apache-2.0
数据集：

• HuggingFaceTB/cosmopedia
• databricks/databricks-dolly-15k
• Open-Orca/OpenOrca
  语言：
• 英语
  评估指标：
• 准确率
  库名称：transformers
  管道标签：文本生成

WikiChat-v0.2

正在训练的对话模型。

上传的GGUF文件为全FP32精度。

使用OpenOrca GPT-4数据 + cosmopedia作为额外数据 + dolly15k用于指令

模型详情：

• 参数数量：83.59M (83591800)
• 注意力头数：8
• 层数：40
• 嵌入维度：384
• 上下文长度：4096/8192/16384（请使用2/4倍RoPE缩放，后续可能训练16k微调版本）
• 批量大小：16
• 训练框架：llama.cpp (train-text-from-scratch)

提示格式（Alpaca风格）：

指令：{系统}  
输入：{提示}  
响应：{回复}  

为获得最佳性能，请以指令格式构建提示。

训练详情：

• 硬件：1块RTX 3070 8GB（推理速度：80tok/s，完全GPU卸载）
• CPU：1颗Ryzen 3 3700x
• 内存：96GB
• 迭代次数：10
• 损失目标：2.5至3.0
• 训练样本量：约480样本/100万训练token（>0.0001周期）
• 训练数据：参见OpenOrca页面

注意事项：

该模型尚未完成训练，当前版本用于测试OpenOrca的分词效果及训练速度与模型大小的平衡

示例输出：

用户：4的平方根是多少？  

助手：4的平方根是2。