🚀 Taiwan-LLaMa-v1.0 - GGUF

本项目提供了 Yen-Ting Lin的台湾文化语言模型v1.0 的GGUF格式模型文件，助力台湾文化相关的文本生成任务。

🚀 快速开始

本仓库包含了 Yen-Ting Lin的台湾文化语言模型v1.0 的GGUF格式模型文件。

✨ 主要特性

关于GGUF

GGUF是llama.cpp团队在2023年8月21日推出的新格式，它取代了不再被llama.cpp支持的GGML。

GGUF的主要优势在于它是一种可扩展、面向未来的格式，能将更多关于模型的信息作为元数据存储。此外，它还显著改进了分词代码，首次实现了对特殊标记的全面支持，这将提升模型性能，尤其是对于使用新特殊标记和自定义提示模板的模型。

截至8月25日，以下是已知支持GGUF的客户端和库：

• llama.cpp。
• text-generation-webui，最广泛使用的Web UI。通过ctransformers后端支持GGUF的GPU加速，llama-cpp-python后端也即将支持。
• KoboldCpp，从1.41版本开始支持GGUF！这是一个强大的GGML Web UI，支持全GPU加速，尤其适合讲故事。
• LM Studio，0.2.2及更高版本支持GGUF。这是一个功能齐全的本地GUI，在Windows（NVIDIA和AMD）和macOS上均支持GPU加速。
• LoLLMS Web UI，现在应该可以使用，选择c_transformers后端。这是一个很棒的Web UI，有许多有趣的功能，支持CUDA GPU加速。
• ctransformers，从0.2.24版本开始支持GGUF！这是一个支持GPU加速、LangChain和OpenAI兼容AI服务器的Python库。
• llama-cpp-python，从0.1.79版本开始支持GGUF。这是一个支持GPU加速、LangChain和OpenAI兼容API服务器的Python库。
• candle，在8月22日添加了对GGUF的支持。Candle是一个Rust机器学习框架，注重性能，包括GPU支持和易用性。

可用仓库

• 适用于CPU+GPU推理的2、3、4、5、6和8位GGUF模型
• 适用于CPU+GPU推理的2、3、4、5、6和8位GGML模型（已弃用）
• Yen-Ting Lin原始未量化的fp16 PyTorch格式模型，用于GPU推理和进一步转换

📚 详细文档

原始模型卡片：Yen-Ting Lin的台湾文化语言模型v1.0

台湾文化语言模型

✍️ 在线演示 • 🤗 HF仓库 • 🐦 Twitter • 📃 [论文即将发布] • 👨️ Yen-Ting Lin

概述

Taiwan-LLaMa是基于LLaMa 2进行全参数微调的模型，适用于繁体中文应用。

Taiwan-LLaMa v1.0 在超过50亿个繁体中文标记上进行了预训练，并在超过49万个繁体中文对话上进行了指令微调。

演示

可以在 Hugging Face Spaces 上访问该模型的实时演示。

关键特性

1. 支持繁体中文：该模型经过微调，能够理解和生成繁体中文文本，适用于台湾文化及相关应用。
2. 指令微调：在对话数据上进一步微调，能够提供上下文感知和遵循指令的响应。
3. 在Vicuna基准测试中的表现：Taiwan-LLaMa在Vicuna基准测试中的相对性能是与GPT-4和ChatGPT等模型进行比较的，它特别针对台湾文化进行了优化。
4. 灵活定制：在演示中可以使用系统提示、温度、top-p和top-k等高级选项来控制模型的行为。

正在进行的工作

• [ ] 改进预训练：正在开发更精细的预训练过程（例如，使用更多来自台湾的数据、改进训练策略），旨在提高模型在台湾文化方面的性能。
• [ ] 扩展最大长度：利用 论文 中描述的Rope机制，将模型的长度从4k扩展到8k。

台湾文化示例

模型

我们提供了一些训练好的模型检查点，可以在Hugging Face 这里 找到它们。以下是一些从LLaMa 2微调而来的检查点的快速链接：

数据

以下是我们用于训练模型的数据集的快速链接：

架构

Taiwan-LLaMa基于LLaMa 2，采用了Transformer架构、flash attention 2 和bfloat16。

它包括：

• 预训练阶段：在超过50亿个繁体中文标记的庞大语料库上进行预训练，这些标记是从Common Crawl中提取的。
• 微调阶段：在超过49万个多轮对话数据上进行进一步的指令微调，以实现更多遵循指令和上下文感知的响应。

在Vicuna基准测试中的通用能力

为了评估通用能力，数据被翻译成了繁体中文。

分数是以ChatGPT为基准计算的，ChatGPT的分数表示为100%。其他值显示了不同模型相对于ChatGPT的相对性能。

如何在自己的机器上部署模型？

我们建议使用 🤗 Text Generation Inference 来托管模型。有关使用和限制的详细信息，请参阅他们的 许可证。

bash run_text_generation_inference.sh "yentinglin/Taiwan-LLaMa-v1.0" NUM_GPUS DIR_TO_SAVE_MODEL PORT MAX_INPUT_LEN MODEL_MAX_LEN

提示格式遵循vicuna-v1.1模板：

A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions. USER: {user} ASSISTANT:

设置开发环境

conda create -n taiwan-llama python=3.10 -y 
conda activate taiwan-llama
pip install -r requirements.txt

引用

如果您在研究中使用了我们的代码、数据或模型，请引用此仓库。您可以使用以下BibTeX条目：

@inproceedings{lin-chen-2023-llm,
    title = "{LLM}-Eval: Unified Multi-Dimensional Automatic Evaluation for Open-Domain Conversations with Large Language Models",
    author = "Lin, Yen-Ting  and Chen, Yun-Nung",
    booktitle = "Proceedings of the 5th Workshop on NLP for Conversational AI (NLP4ConvAI 2023)",
    month = jul,
    year = "2023",
    address = "Toronto, Canada",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.nlp4convai-1.5",
    pages = "47--58"
}

@misc{taiwanllama,
    author={Lin, Yen-Ting and Chen, Yun-Nung},
    title={Language Models for Taiwanese Culture},
    year={2023},
    url={https://github.com/MiuLab/Taiwan-LLaMa},
    note={Code and models available at https://github.com/MiuLab/Taiwan-LLaMa},
}

与我们合作

如果您有兴趣为繁体中文语言模型的开发做出贡献、探索新的应用或利用Taiwan-LLaMa满足您的特定需求，请随时与我们联系。我们欢迎学术界、工业界和个人贡献者的合作。

📄 许可证

本项目中的代码遵循Apache 2.0许可证，请参阅 LICENSE 文件了解详细信息。

本项目中包含的模型遵循LLAMA 2社区许可证。请参阅 LLAMA2许可证 了解完整详细信息。

致谢

我们感谢 Meta LLaMA团队 和 Vicuna团队 在推动大语言模型民主化方面所做的开源努力。

信息表格