base_model: boun-tabi-LMG/TURNA language:

• tr license: other model_creator: boun-tabi-LMG model_name: TURNA model_type: t5 prompt_template: '[S2S]prompt' quantized_by: Furkan Erdi tags:
• GGUF
• Transformers
• TURNA
• t5 library_name: transformers architecture: t5 inference: false

TURNA - GGUF

• 模型创建者: boun-tabi-LMG
• 原始模型: TURNA

模型描述

本仓库包含boun-tabi-LMG的TURNA的GGUF格式模型文件。

关于GGUF

GGUF是由llama.cpp团队于2023年8月21日引入的新格式。它取代了GGML，后者已不再受llama.cpp支持。

以下是已知支持GGUF的客户端和库的不完整列表：

• llama.cpp。GGUF的源项目。提供CLI和服务器选项。
• text-generation-webui，最广泛使用的Web UI，具有许多功能和强大的扩展。支持GPU加速。
• KoboldCpp，功能齐全的Web UI，支持所有平台和GPU架构的GPU加速。特别适合讲故事。
• GPT4All，免费开源的本地运行GUI，支持Windows、Linux和macOS，具有完整的GPU加速。
• LM Studio，易于使用且功能强大的本地GUI，适用于Windows和macOS（Silicon），支持GPU加速。Linux版本已于2023年11月27日进入测试阶段。
• LoLLMS Web UI，一个优秀的Web UI，具有许多有趣且独特的功能，包括完整的模型库以便轻松选择模型。
• Faraday.dev，一个吸引人且易于使用的基于角色的聊天GUI，适用于Windows和macOS（Silicon和Intel），支持GPU加速。
• llama-cpp-python，一个支持GPU加速、LangChain支持和OpenAI兼容API服务器的Python库。
• candle，一个专注于性能的Rust ML框架，包括GPU支持和易用性。
• ctransformers，一个支持GPU加速、LangChain支持和OpenAI兼容AI服务器的Python库。注意，截至撰写时（2023年11月27日），ctransformers已长时间未更新，不支持许多近期模型。

提示模板

[S2S]prompt<EOS>

兼容性

这些量化的GGUFv2文件与huggingface的candle兼容。

这些模型由candle、cargo使用Rust和Python进行量化。

提供的文件

许可证

该模型与公众共享，仅用于非商业学术研究目的。

如何下载GGUF文件

手动下载者注意： 您几乎不需要克隆整个仓库！提供了多种不同的量化格式，大多数用户只需选择并下载单个文件。

以下客户端/库将自动为您下载模型，提供可供选择的模型列表：

在命令行中，包括同时下载多个文件

我推荐使用huggingface-hub Python库：

pip3 install huggingface-hub

然后，您可以使用以下命令将任何单个模型文件高速下载到当前目录：

huggingface-cli download helizac/TURNA_GGUF TURNA_Q4_K.gguf --local-dir . --local-dir-use-symlinks False

huggingface-cli download helizac/TURNA_GGUF --local-dir . --local-dir-use-symlinks False --include='*Q4_K*gguf'

colab使用示例

您可以从此处复制笔记本：

https://colab.research.google.com/drive/1vH3V5kFn1mlhAUtH4E-diq-6DhWBCT3T?usp=sharing

或使用以下代码：

%%shell
# 更新并安装依赖
apt update && apt install -y curl build-essential
pip install huggingface_hub

# 使用rustup安装Rust
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh -s -- -y

# 将Rust添加到PATH
source $HOME/.cargo/env

# 从Huggingface克隆Candle
git clone https://github.com/huggingface/candle.git

%cd candle

import os
os.environ['PATH'] += ':' + os.path.expanduser('~/.cargo/bin')

%%shell

# 向cargo添加CUDA功能
cargo add --git https://github.com/huggingface/candle.git candle-core --features "cuda" --package candle-core

# 使用具有读取权限的CLI
huggingface-cli login

import subprocess
import os

def run_turna_gguf(prompt="Bir varmış bir yokmuş, ", temperature=1, quantization_method="Q8_1", config_file="config.json", model_id = "helizac/TURNA_GGUF"):
    cmd = (
        f'cargo run --example quantized-t5 --release -- '
        f'--model-id "{model_id}" '
        f'--prompt "[S2S]{prompt}<EOS>" '
        f'--temperature {temperature} '
        f'--weight-file "TURNA_{quantization_method}.gguf" '
        f'--config-file "{config_file}" '
    )
    process = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, universal_newlines=True)
    for line in process.stdout:
        print(line, end='')  # 打印命令输出的每一行
    process.stdout.close()
    return_code = process.wait()
    if return_code != 0:
        print(f"命令 '{cmd}' 失败，错误代码 {return_code}")

run_turna_gguf("Bir varmış bir yokmuş") # shingaava’nın yöneticisi, kâhyası vs garip şeyler ihityacına göre Mudanya'nın ileri gelen köylerine kadar gitmiş, kâhya Uşak’a kadar gelmiş, yatacak yer dahi yoksa kışı bir Osmanlı zabitleri olarak geçirirmiş.Diğerleri falan bilmemnereye, efendi masiste yazlık, geçici işlerde de kışları olamıyormuş. Japonlar da gelmesini sabırsızlıkla beklermişiz. Oysa her köyde yaşamıyormuş. Sonra korsanlar Karamürsel’e her geldiğinde gelirmişiz, durmadan, her mayıstaki yataverememi diye şikayet ederlermiş. Her isteyen gemiyle gelirmiş, bazen birkaç sandık güruhla kaçırtırmış. Bir defasında bir arkadaşım seyahate muavin olarak İstanbul ve Adapazarı’ndan teyzesinin yanına baradan. Yazın sonu şöyle kara olan mahalleye geçer, oraya, annem gibi, bir başkasının yanına gidermiş tüm olarak. O da bütün herkese sormuş. Hac için gelirlermiş. Anlatmaktan vaz geçmiş, söylenerek işaretlemiş buradayan ülkeye. Bursa’nın neresine gidermiş anlayamadığımı söyler, biz çoktan kimsenin sırrını açıklamamışız. Dostumuz olan Emine Teyze’miz hükümet hesap evine, hatta yüzüne bile bakmayız. Artık memlekete yerlerini bulurmuş, “tatlı canınız oralardan geçiyormuşa. Annemin oradaki yataverenleri ziyareti, yapmam dediği fiil ayakta işnallah demişim. Bu arada Tiran-Japon’muş. Sohbet görene, şuursuz bir hergele nasıl merasim tanıda ilişkilerin zirvesine ulaşmış, sonra Hacettepe’yle kesişiriş ve dumanlar çıkar yengemden, hakkını isteriz, geç konuşmasının çok üstü kapalı söylemeleri, ocağında besenebiliy uşaklar, durumu öğrenmiş ben ayrı muamele görmüşüz. Ohooo gülmezsin tabi, paşa da andımıza saygısından bir sadakaya göndertir, efendim evlenmişiz. Senin gelin olamamış akrabalıkJagyok adı altında ölü gelirlermiş. Ben burada bestenasarya’daki balığın çekirgeleri de pek severim. Dede’ye böbreğini bile götürmek günlere getirirmiş. ( Taoyi ile akrabamızın). Sen beni tanımazsın, üreyin, bol bol türbeleri varmış. Yakala onu ve Tanman’a yatacak yer olmadığı için kimsenin haberini eksikmiş Tepe hanımın rahmetliye anlatmaya. bildiğiniz ölülermiş bunlar karılar ve insanlar MEfcan’ı yindeikmiş, alayında kalsınlar hep Remzi Görki kendisini o da lerine doğuranın ağına ihtiyacım var dermiş
513 tokens generated (5.11 token/s)

函数说明：run_turna_gguf

参数：

• prompt (str, 默认: "Bir varmış bir yokmuÅŸ, "):
  • 提供给模型的初始文本。
• temperature (float, 默认: 1):
  • 控制输出的随机性。值越高输出越随机，值越低输出越确定。
• quantization_method (str, 默认: "Q8_1"):
  • 指定使用的量化方法。这将选择相应的.gguf权重文件。
• config_file (str, 默认: "config.json"):
  • 包含模型特定设置的配置文件路径。
• model_id (str, 默认: "helizac/TURNA_GGUF"):
  • Hugging Face仓库中模型的标识符。

功能开发

1 - 目前，TURNA_GGUF仅支持CPU使用。正在寻求实现CUDA支持。已提出问题，如果解决将实现 -> https://github.com/huggingface/candle/issues/2266 2 - 许多其他依赖项随huggingface/candle框架而来，编译时间可能非常长。必须编写一个简化版本以仅运行量化-t5模型。

感谢与贡献方式

感谢boun-tabi-LMG团队！

GGUF模型卡片：

{Furkan Erdi}

原始模型卡片：BOUN TABI语言建模组的TURNA

TURNA 🦩

@misc{uludoÄŸan2024turna,
      title={TURNA: A Turkish Encoder-Decoder Language Model for Enhanced Understanding and Generation}, 
      author={Gökçe Uludoğan and Zeynep Yirmibeşoğlu Balal and Furkan Akkurt and Melikşah Türker and Onur Güngör and Susan Üsküdarlı},
      year={2024},
      eprint={2401.14373},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}