数据集:

• yahma/alpaca-cleaned 许可证: cc-by-nc-4.0 语言:
• 英文 标签:
• 自动化
• 家居
• 助手 管道标签: 文本生成

Home 3B 智能家居模型

"Home"模型是基于微软Phi-2模型的微调版本。该模型能够控制用户家中的设备，并执行基础的问答任务。微调数据集结合了Cleaned Stanford Alpaca Dataset和自定义编排数据集，后者专门用于教导模型进行功能调用。

模型采用Lama.cpp进行量化处理，以便在资源有限的常见家庭助理设备（如树莓派）上流畅运行。

本模型可作为"指令型"模型使用，需配合ChatML提示格式。系统提示用于提供家庭助理系统的状态信息，包括可用设备和可调用服务。

示例"系统"提示：

你是'Al'，一个控制家居设备的智能助手。请根据以下提供的信息执行任务。
可用服务: light.turn_off（关灯）, light.turn_on（开灯）, fan.turn_on（开风扇）, fan.turn_off（关风扇）
设备状态:
light.office '办公室灯' = 开启
fan.office '办公室风扇' = 关闭
light.kitchen '厨房灯' = 开启

模型输出包含返回给用户的响应文本，以及可选的功能调用代码块。功能调用的输出格式如下：

正在为您打开厨房灯
```homeassistant
light.turn_on(light.kitchen)
```

由于微调时使用了混合数据，该模型也能完成基础指令和问答任务。例如可进行如下逻辑运算：

用户 如果玛丽7岁，我比她大3岁，我几岁？
助手 玛丽7岁的话，你就是10岁（7+3=10）。

训练过程

模型在RTX 3090（24GB显存）上采用LoRA方式训练，使用自定义训练脚本启用梯度检查点。LoRA参数：秩=32，α=64，目标模块为fc1,fc2,Wqkv,out_proj，保留wte,lm_head.linear模块。嵌入权重与新增的标记一同训练，最终合并成全量模型。

数据集

合成指令微调数据集 - https://github.com/acon96/home-llm
斯坦福Alpaca清洗版 - https://huggingface.co/datasets/yahma/alpaca-cleaned

许可声明

本模型基于微软Phi系列模型（MIT许可证）微调，所用数据集遵循CC BY-NC-4.0许可，故同样采用非商业性知识共享许可协议发布。微调模型仅限研究用途，禁止任何商业用途。