许可协议：apache-2.0
语言：

• 英文
  任务标签：文本摘要
  示例输入：
• 文本：'Hugging Face：自然语言处理的革命性力量 引言 在快速发展的自然语言处理（NLP）领域，Hugging Face已成为一支卓越且创新的力量。本文将探讨Hugging Face的故事及其重要意义，这家公司为NLP乃至整个人工智能领域做出了非凡贡献。从创立之初到推动AI民主化的进程中，Hugging Face在行业内留下了不可磨灭的印记。 Hugging Face的诞生 Hugging Face由Clément Delangue、Julien Chaumond和Thomas Wolf于2016年联合创立。公司名称"Hugging Face"寓意着让人工智能模型像安慰的拥抱一样更易接近、更友好。最初他们以聊天机器人业务起家，后因坚信NLP技术的变革潜力而转向该领域。 变革性创新 Hugging Face最著名的贡献是其开源项目，尤其是Transformers库。该库已成为NLP领域的事实标准，使研究人员、开发者和组织能够便捷使用最先进的预训练语言模型（如BERT、GPT-3等）。这些模型拥有无数应用场景，从聊天机器人、虚拟助手到语言翻译和情感分析。'
  示例标题：摘要示例1
  基础模型：Falconsai/text_summarization
  标签：
• llama-cpp
• gguf-my-repo

vynride/text_summarization-Q8_0-GGUF

本模型通过llama.cpp从Falconsai/text_summarization转换为GGUF格式，转换过程使用ggml.ai的GGUF-my-repo空间。
关于模型的更多细节请参考原始模型卡片。

通过llama.cpp使用

通过brew安装llama.cpp（适用于Mac和Linux）

brew install llama.cpp  

调用llama.cpp服务器或命令行界面。

命令行界面：

llama-cli --hf-repo vynride/text_summarization-Q8_0-GGUF --hf-file text_summarization-q8_0.gguf -p "生命与宇宙的意义在于"  

服务器模式：

llama-server --hf-repo vynride/text_summarization-Q8_0-GGUF --hf-file text_summarization-q8_0.gguf -c 2048  

注：您也可以直接按照Llama.cpp仓库的使用说明使用此检查点。

步骤1：从GitHub克隆llama.cpp

git clone https://github.com/ggerganov/llama.cpp  

步骤2：进入llama.cpp目录并编译，需添加LLAMA_CURL=1标志及其他硬件相关标志（例如Linux系统Nvidia显卡需加LLAMA_CUDA=1）

cd llama.cpp && LLAMA_CURL=1 make  

步骤3：通过主程序运行推理

./llama-cli --hf-repo vynride/text_summarization-Q8_0-GGUF --hf-file text_summarization-q8_0.gguf -p "生命与宇宙的意义在于"  

或

./llama-server --hf-repo vynride/text_summarization-Q8_0-GGUF --hf-file text_summarization-q8_0.gguf -c 2048