🚀 上传的模型
本项目是一个基于unsloth/Llama-3.3-70B-Instruct-bnb-4bit
微调的文本生成模型,使用 Unsloth 和 Huggingface 的 TRL 库进行训练,训练速度提升了 2 倍。支持英语、西班牙语、拉丁语、阿拉伯语和法语等多语言。
📦 模型信息
属性 |
详情 |
基础模型 |
unsloth/Llama-3.3-70B-Instruct-bnb-4bit |
标签 |
text-generation-inference、transformers、unsloth、llama、trl、sft |
许可证 |
apache-2.0 |
支持语言 |
英语、西班牙语、拉丁语、阿拉伯语、法语 |
任务类型 |
文本到文本生成 |
库名称 |
transformers |
开发者 |
ykarout |
微调基础模型 |
unsloth/Llama-3.3-70B-Instruct-bnb-4bit |
🚀 快速开始
与 Ollama 配合使用
若要与 Ollama 配合使用,请按照以下模板创建 Modelfile:
FROM {__FILE_LOCATION__} (请替换为你的 gguf 文件位置)
TEMPLATE """{{ if .Messages }}
{{- if or .System .Tools }}<|start_header_id|>system<|end_header_id|>
{{- if .System }}
{{ .System }}
{{- end }}
{{- if .Tools }}
You are a helpful assistant with tool calling capabilities. When you receive a tool call response, use the output to format an answer to the original use question.
{{- end }}
{{- end }}<|eot_id|>
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 }}
{{- if eq .Role "user" }}<|start_header_id|>user<|end_header_id|>
{{- if and $.Tools $last }}
Given the following functions, please respond with a JSON for a function call with its proper arguments that best answers the given prompt.
Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}. Do not use variables.
{{ $.Tools }}
{{- end }}
{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>
{{ end }}
{{- else if eq .Role "assistant" }}<|start_header_id|>assistant<|end_header_id|>
{{- if .ToolCalls }}
{{- range .ToolCalls }}{"name": "{{ .Function.Name }}", "parameters": {{ .Function.Arguments }}}{{ end }}
{{- else }}
{{ .Content }}{{ if not $last }}<|eot_id|>{{ end }}
{{- end }}
{{- else if eq .Role "tool" }}<|start_header_id|>ipython<|end_header_id|>
{{ .Content }}<|eot_id|>{{ if $last }}<|start_header_id|>assistant<|end_header_id|>
{{ end }}
{{- end }}
{{- end }}
{{- else }}
{{- if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ end }}{{ .Response }}{{ if .Response }}<|eot_id|>{{ end }}"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|eom_id|>"
PARAMETER temperature 1.5 # 可调整以尝试不同的生成效果
PARAMETER min_p 0.1 # 可调整以尝试不同的生成效果
PARAMETER repeat_penalty 1.15 # 可调整以尝试不同的生成效果
PARAMETER top_p 0.9 # 可调整以尝试不同的生成效果
PARAMETER top_k 45 # 可调整以尝试不同的生成效果
📄 许可证
本模型使用 apache-2.0
许可证。
