license: apache-2.0 language:

• en

Metharme 1.3B

基于指令微调的Pythia模型，专长于小说创作与对话生成

模型详情

Metharme 1.3B是基于EleutherAI的Pythia 1.4B去重版开发的指令微调模型。

本实验旨在探索如何构建适用于对话、角色扮演和故事创作的模型，同时保持与其他指令模型相似的自然语言引导能力。具体提示方法示例请参阅下方提示指南章节。

该模型通过监督式微调训练而成，训练数据混合了常规指令数据、角色扮演剧本、虚构故事以及附加合成生成指令的对话记录。

提示指南

当前模型版本接受三种角色标记的提示：<|system|>、<|user|>和<|model|>。

• <|system|>：用于注入幕后场景的元信息
• <|user|>：标示用户输入内容
• <|model|>：触发模型生成响应

这些标记可多次出现并串联形成对话历史。

提示示例

假设系统提示为：

这是一个文字冒险游戏。请向用户描述场景并在每个回合提供三个可选行动。

用户输入：

开始！

完整提示应格式化为：

<|system|>这是一个文字冒险游戏。请向用户描述场景并在每个回合提供三个可选行动。<|user|>开始！<|model|>

典型模型输出可能为：

你站在一栋破旧的老宅前。窗户钉着木板，周围毫无生气。当你靠近时，莫名感到屋内传来的诡异气息。突然，你听见有个声音呼唤着..."进来吧！"

• 进入宅邸
• 无视呼唤离开
• 全力逃跑

当判定响应完成时，模型会自动生成结束标记(<|endoftext|>)。

若用户回复"进去"，则下一轮提示应为：

<|system|>这是一个文字冒险游戏...<|user|>开始！<|model|>你站在一栋破旧的老宅前...<|user|>进去<|model|>

建议采用滑动窗口机制处理用户与模型的对话轮次，同时保持系统提示始终固定在上下文窗口起始位置。

评估指标

采用EleutherAI的lm-evaluation-harness测试套件进行评估，结果如下：

性能对比图示（含Pygmalion-6B、Metharme-7B及RedPajama-INCITE-Chat-3B-v1）：

局限性

由于参数量小于Metharme 7B/13B版本，本模型的逻辑连贯性可能有所欠缺。

该模型设计用途仅限于娱乐性虚构写作，其他使用场景均超出设计范围。

需要特别注意的是：本模型未进行安全无害化处理——基础模型及本微调版本所训练的数据已知包含不雅内容及冒犯性文本。即使提示词不含明显冒犯内容，仍可能生成不符合社会规范或令人不适的文本。输出内容可能存在事实性错误或误导性陈述。