许可证：apache-2.0
语言：

• 英文
  基础模型：
• pszemraj/flan-t5-large-grammar-synthesis
  任务标签：文本生成文本
  标签：
• 语法
• 拼写

flan-t5-large-grammar-synthesis - GGUF

适用于flan-t5-large-grammar-synthesis的GGUF文件，可与Ollama、llama.cpp或任何其他支持GGUF格式T5模型的框架配合使用。

本仓库主要包含“更高精度”/更大的量化版本，因为该模型的用途是语法/拼写修正，低精度下会产生错误修正等问题，效果会大打折扣。

更多详情请参考原始仓库。

使用方法

您可以使用llamafile（或llama-cli）运行GGUF文件，命令如下：

llamafile.exe -m grammar-synthesis-Q6_K.gguf --temp 0 -p "There car broke down so their hitching a ride to they're class."

它将输出修正后的文本：

系统信息：n_threads = 4 / 8 | AVX = 1 | AVX_VNNI = 0 | AVX2 = 1 | AVX512 = 1 | AVX512_VBMI = 1 | AVX512_VNNI = 1 | AVX512_BF16 = 0 | FMA = 1 | NEON = 0 | SVE = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 0 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 | MATMUL_INT8 = 0 | LLAMAFILE = 1 |  
采样设置：  
        repeat_last_n = 64, repeat_penalty = 1.000, frequency_penalty = 0.000, presence_penalty = 0.000  
        top_k = 40, tfs_z = 1.000, top_p = 0.950, min_p = 0.050, typical_p = 1.000, temp = 0.000  
        mirostat = 0, mirostat_lr = 0.100, mirostat_ent = 5.000  
采样顺序：  
CFG -> 惩罚项 -> top_k -> tfs_z -> typical_p -> top_p -> min_p -> 温度  
生成参数：n_ctx = 8192, n_batch = 2048, n_predict = -1, n_keep = 0  


他们的车坏了，所以他们不得不搭车去学校。[文本结束]  


llama_print_timings:        加载时间 =     782.21 毫秒  
llama_print_timings:      采样时间 =       0.23 毫秒 /    16 次运行（每词元    0.01 毫秒，每秒 68376.07 词元）  
llama_print_timings: 提示评估时间 =      85.08 毫秒 /    19 词元（每词元    4.48 毫秒，每秒   223.33 词元）  
llama_print_timings:        评估时间 =     341.74 毫秒 /    15 次运行（每词元   22.78 毫秒，每秒    43.89 词元）  
llama_print_timings:       总时间 =     456.56 毫秒 /    34 词元  
日志结束  

如果您有GPU，请务必在命令中添加-ngl 9999，以自动将尽可能多的层加载到GPU上，从而加速推理。