license: apache-2.0

从零构建的大语言模型

全流程开源实现（含分词器训练、模型初始化、预训练与指令微调）

https://github.com/fisheeped/creek/tree/main

快速使用指南

import transformers

# 加载模型
model_path = "maheer/creek"
model = transformers.AutoModelForCausalLM.from_pretrained(model_path)
tokenizer = transformers.AutoTokenizer.from_pretrained(model_path)

messages = [
    {"role":"user","content":"苹果手机怎么联网"}
]

def chat(msg):
    inputs = tokenizer.apply_chat_template(msg,return_dict=True,return_tensors="pt")
    input_len = len(inputs['input_ids'][0])
    output = model.generate(**inputs,repetition_penalty = 1.25)[0]
    output = output[input_len:]
    return tokenizer.decode(output,skip_special_tokens=True)

out_str = chat(messages)
print(out_str)

输出示例

您好！要将您的iPhone连接到互联网，请按照以下步骤操作：

1. 首先，打开"设置"应用
2. 选择"无线局域网"选项
3. 在可用网络列表中选择要连接的Wi-Fi
4. 输入正确的密码后点击"加入"
5. 顶部状态栏出现Wi-Fi图标即表示连接成功
6. 若使用移动数据，请开启"蜂窝移动网络"开关
7. 遇到连接问题时，可尝试重启设备或重置网络设置

如需进一步帮助，建议访问苹果官网支持页面或联系Apple客服。祝您使用愉快！