许可协议：Apache-2.0
功能模块：

• 文本示例：

  <A>我们应该养只宠物。<end>  
  <B>我觉得不行。<end>  
  <A>为什么？<end>  
  <B>因为宠物会把家里弄乱。<end>  
  <A>但狗狗很可爱啊！<end>  
  <B>猫咪也很可爱。<end>  
  <A>那我们可以养猫。<end>  
  <B>  
  

  示例标题：样本1
  数据集：
• raincandy-u/TinyChat
  任务标签：文本生成

raincandy-u/TinyChat-1776K

这是一个基于TinyChat数据集从头训练的小型语言模型。

目标是通过最小规模的模型实现自然对话响应。训练数据采用三岁儿童水平的英文对话语料。

注意：该模型不具备世界知识，请勿向其提问需要常识的问题。

模型规格

配置参数 = 自动配置.模型配置(  
    模型类型="llama",  
    隐藏层维度=192,  
    中间层维度=640,  
    注意力头数=16,  
    隐藏层层数=3,  
    键值头数=4,  
    绑定词嵌入=True,  
    词表大小=2048,  
    最大位置编码=256  
)  

对话模板

<A>嗨，汤姆。你好吗？<end>  
<B>我很好，谢谢。你呢？<end>  
<A>不错。你最喜欢什么颜色？<end>  
<B>我最喜欢黑色。<end>  
<A>你喜欢猫吗？<end>  
<B>  

示例输出：

是的，我喜欢。猫也很适合我。  

生成参数

top_k=40,  
top_p=0.8,  
temperature=1