基础模型: nicholasKluge/TeenyTinyLlama-160m 二氧化碳当量排放: 排放量: 5.6 地理位置: 德国 使用硬件: NVIDIA A100-SXM4-40GB 来源: CodeCarbon 训练类型: 预训练 数据集:

• nicholasKluge/Pt-Corpus-Instruct 推理: true 语言:
• pt 库名称: transformers 许可证: apache-2.0 指标:
• 困惑度 模型索引:
• 名称: TeenyTinyLlama-160m 结果:
  • 数据集: 参数: num_few_shot: 3 名称: ENEM挑战赛(无图像) 拆分: train 类型: eduagarcia/enem_challenge 指标:
    • 名称: 准确率 类型: acc 值: 19.24 来源: 名称: 葡萄牙语开源大模型排行榜 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicholasKluge/TeenyTinyLlama-160m 任务: 名称: 文本生成 类型: text-generation
  • 数据集: 参数: num_few_shot: 3 名称: BLUEX(无图像) 拆分: train 类型: eduagarcia-temp/BLUEX_without_images 指标:
    • 名称: 准确率 类型: acc 值: 23.09 来源: 名称: 葡萄牙语开源大模型排行榜 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicholasKluge/TeenyTinyLlama-160m 任务: 名称: 文本生成 类型: text-generation
  • 数据集: 参数: num_few_shot: 3 名称: OAB考试 拆分: train 类型: eduagarcia/oab_exams 指标:
    • 名称: 准确率 类型: acc 值: 22.37 来源: 名称: 葡萄牙语开源大模型排行榜 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicholasKluge/TeenyTinyLlama-160m 任务: 名称: 文本生成 类型: text-generation
  • 数据集: 参数: num_few_shot: 15 名称: Assin2 RTE 拆分: test 类型: assin2 指标:
    • 名称: f1宏平均 类型: f1_macro 值: 53.97 来源: 名称: 葡萄牙语开源大模型排行榜 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicholasKluge/TeenyTinyLlama-160m 任务: 名称: 文本生成 类型: text-generation
  • 数据集: 参数: num_few_shot: 15 名称: Assin2 STS 拆分: test 类型: eduagarcia/portuguese_benchmark 指标:
    • 名称: 皮尔逊系数 类型: pearson 值: 0.24 来源: 名称: 葡萄牙语开源大模型排行榜 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicholasKluge/TeenyTinyLlama-160m 任务: 名称: 文本生成 类型: text-generation
  • 数据集: 参数: num_few_shot: 15 名称: FaQuAD NLI 拆分: test 类型: ruanchaves/faquad-nli 指标:
    • 名称: f1宏平均 类型: f1_macro 值: 43.97 来源: 名称: 葡萄牙语开源大模型排行榜 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicholasKluge/TeenyTinyLlama-160m 任务: 名称: 文本生成 类型: text-generation
  • 数据集: 参数: num_few_shot: 25 名称: HateBR二元分类 拆分: test 类型: ruanchaves/hatebr 指标:
    • 名称: f1宏平均 类型: f1_macro 值: 36.92 来源: 名称: 葡萄牙语开源大模型排行榜 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicholasKluge/TeenyTinyLlama-160m 任务: 名称: 文本生成 类型: text-generation
  • 数据集: 参数: num_few_shot: 25 名称: 葡萄牙语仇恨言论二元分类 拆分: test 类型: hate_speech_portuguese 指标:
    • 名称: f1宏平均 类型: f1_macro 值: 42.63 来源: 名称: 葡萄牙语开源大模型排行榜 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicholasKluge/TeenyTinyLlama-160m 任务: 名称: 文本生成 类型: text-generation
  • 数据集: 参数: num_few_shot: 25 名称: tweetSentBR 拆分: test 类型: eduagarcia-temp/tweetsentbr 指标:
    • 名称: f1宏平均 类型: f1_macro 值: 11.39 来源: 名称: 葡萄牙语开源大模型排行榜 网址: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=nicholasKluge/TeenyTinyLlama-160m 任务: 名称: 文本生成 类型: text-generation 模型创建者: nicholasKluge 模型名称: TeenyTinyLlama-160m 管道标签: text-generation 量化者: afrideva 标签:
• 文本生成推理
• gguf
• ggml
• 量化 小部件:
• 示例标题: 示例 文本: 'PUCRS是一所大学'
• 示例标题: 示例 文本: 很久以前，在一个遥远的星系，生活着一个种族
• 示例标题: 示例 文本: 在丑闻中，议会阵线要求参议员Silva

TeenyTinyLlama-160m-GGUF

nicholasKluge/TeenyTinyLlama-160m的量化GGUF模型文件，来自nicholasKluge

原始模型卡片:

TeenyTinyLlama-160m

模型概述

大语言模型(LLM)显著推动了自然语言处理的发展，但其进步在不同语言间并不均衡。虽然大多数LLM针对英语等高资源语言训练，但多语言模型通常表现不如单语言模型。此外，其多语言基础的某些方面有时会限制其产出，如计算需求和许可制度。因此，我们开发了_TeenyTinyLlama_配对模型：两个用于巴西葡萄牙语文本生成的紧凑模型。

阅读我们在ArXiv上的预印本。

详情

• 架构: 基于Transformer的因果语言建模预训练模型
• 规模: 162,417,408参数
• 上下文长度: 2048个token
• 数据集: Pt-Corpus Instruct(62亿token)
• 语言: 葡萄牙语
• 训练步数: 458,000步
• GPU: 1块NVIDIA A100-SXM4-40GB
• 训练时间: ~36小时
• 碳排放: 5.6千克CO2(德国)
• 总能耗: 15.5千瓦时

此仓库包含训练该模型的源代码。主要使用的库包括:

• Transformers
• PyTorch
• Datasets
• Tokenizers
• Sentencepiece
• Accelerate
• FlashAttention
• Codecarbon

预期用途

TeenyTinyLlama的主要预期用途是研究为低资源语言开发语言模型的相关挑战。训练过程中保存的检查点旨在为进行科学实验提供受控环境。您也可以根据Apache 2.0许可证进一步微调和适配TeenyTinyLlama进行部署。如果您决定使用预训练的TeenyTinyLlama作为微调模型的基础，请自行进行风险和偏见评估。

非预期用途

TeenyTinyLlama不适用于部署。它不是产品，不应用于面向人类的交互。

TeenyTinyLlama模型仅适用于巴西葡萄牙语，不适合翻译或生成其他语言的文本。

TeenyTinyLlama尚未针对语言模型常见部署的下游场景进行微调。

基本用法

使用pipeline:

from transformers import pipeline

generator = pipeline("text-generation", model="nicholasKluge/TeenyTinyLlama-160m")

completions  = generator("Astronomia é a ciência", num_return_sequences=2, max_new_tokens=100)

for comp in completions:
  print(f"🤖 {comp['generated_text']}")

使用AutoTokenizer和AutoModelForCausalLM:

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("nicholasKluge/TeenyTinyLlama-160m", revision='main')
model = AutoModelForCausalLM.from_pretrained("nicholasKluge/TeenyTinyLlama-160m", revision='main')

# 将模型移至设备
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model.eval()
model.to(device)

# 分词输入并移至设备
inputs = tokenizer("Astronomia é a ciência", return_tensors="pt").to(device)

# 生成文本
completions = model.generate(**inputs, num_return_sequences=2, max_new_tokens=100)

# 打印生成文本
for i, completion in enumerate(completions):
    print(f'🤖 {tokenizer.decode(completion)}')

局限性

与几乎所有基于从网络抓取的大型文本数据集训练的语言模型一样，TTL配对模型表现出的一些行为使其不能成为许多现实世界应用的即用解决方案，特别是那些需要真实、可靠、无毒文本生成的应用。我们的模型都存在以下问题:

• 幻觉: 该模型可能产生看似真实但实际上是误导或完全错误的内容，即幻觉。

• 偏见和毒性: 该模型继承了训练数据中的社会和历史刻板印象。鉴于这些偏见，模型可能产生有毒内容，即对个人、群体或社区有害、冒犯或不利的内容。

• 不可靠代码: 模型可能产生错误的代码片段和语句。这些代码生成不应被视为建议或准确解决方案。

• 语言限制: 该模型主要设计用于理解标准巴西葡萄牙语。其他语言可能会挑战其理解能力，导致潜在的误解或响应错误。

• 重复和冗长: 模型可能会陷入重复循环(特别是在生成过程中重复惩罚设置得非常低时)，或产生与给定提示无关的冗长响应。

因此，尽管我们的模型是使用宽松许可证发布的，但我们敦促用户如果打算将这些模型用于现实世界应用，需自行进行风险分析，并在这些模型与受众交互的应用中安排人工审核输出，确保用户始终意识到他们正在与语言模型交互。

评估

在我们的训练过程中，两个模型都显示出持续收敛。在任何时候，我们的评估曲线都没有显示出过拟合或饱和的迹象。对于我们的460m参数模型，我们有意在最佳点后继续训练约75,000步，以评估是否有饱和迹象，但我们的评估始终给出更好的结果。我们假设我们的模型训练不足，但如果进一步训练超过Chinchilla最优范围，可能会有所改善。

基准测试

基准测试评估使用Language Model Evaluation Harness(由EleutherAI开发)进行。Laiviet翻译了我们使用的LM-Evaluation-Harness任务。标有"*"的模型结果取自Open LLM Leaderboard。

巴西葡萄牙语基准测试评估使用葡萄牙语实现的EleutherAI LM Evaluation Harness(由Eduardo Garcia创建)进行。

微调比较

为了进一步评估我们模型的下游能力，我们决定在Poeta基准测试的子集上对我们的TTL配对模型应用基本微调程序。出于比较目的，我们对BERTimbau模型也应用相同的程序，因为它们也是针对巴西葡萄牙语从头训练的LLM，并且与我们的模型规模范围相似。我们使用这些比较来评估我们的预训练是否产生了能够在下游应用中产生良好结果("良好"在这里意味着"接近BERTimbau")的LLM。

所有显示的结果是在各自任务测试集上微调模型后达到的最高准确率分数。所有微调运行使用相同的超参数，代码实现可以在我们微调模型的模型卡片中找到。

引用 🤗

@misc{correa24ttllama,
  title = {TeenyTinyLlama: 巴西葡萄牙语训练的开源微型语言模型},
  author = {Corr{\^e}a, Nicholas Kluge and Falk, Sophia and Fatimah, Shiza and Sen, Aniket and De Oliveira, Nythamar},
  journal={arXiv preprint arXiv:2401.16640},
  year={2024}
}

资助

此仓库是RAIES(Rede de Inteligência Artificial Ética e Segura)计划的一部分，该项目由FAPERGS - (Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul)，巴西支持。

许可证

TeenyTinyLlama-160m根据Apache License, Version 2.0授权。详见LICENSE文件。