🚀 TeenyTinyLlama-160m

TeenyTinyLlama-160m是一对用于巴西葡萄牙语文本生成的紧凑型模型，旨在研究为低资源语言开发语言模型所面临的挑战。

🚀 快速开始

大型语言模型（LLM）在自然语言处理领域取得了显著进展，但不同语言之间的发展并不均衡。大多数LLM是使用英语等资源丰富的语言进行训练的，而多语言模型的性能通常不如单语言模型。此外，多语言模型的一些特性有时会限制其生成的结果，例如计算需求和许可制度。因此，我们开发了 TeenyTinyLlama 模型：两个用于巴西葡萄牙语文本生成的紧凑型模型。

阅读我们的文章 点击此处。

✨ 主要特性

• 架构：基于Transformer的模型，通过因果语言建模进行预训练。
• 规模：1.62417408亿个参数。
• 上下文长度：2048个标记。
• 数据集：Pt-Corpus Instruct（62亿个标记）。
• 语言：葡萄牙语。
• 训练步数：45.8万步。
• GPU：1块NVIDIA A100-SXM4-40GB。
• 训练时间：约36小时。
• 排放量：5.6千克二氧化碳（德国）。
• 总能耗：15.5千瓦时。

本仓库包含用于训练该模型的 源代码。主要使用的库包括：

• Transformers
• PyTorch
• Datasets
• Tokenizers
• Sentencepiece
• Accelerate
• FlashAttention
• Codecarbon

📦 安装指南

文档未提及安装步骤，故跳过该部分内容。

💻 使用示例

基础用法

from transformers import pipeline

generator = pipeline("text-generation", model="nicholasKluge/TeenyTinyLlama-160m")

completions  = generator("Astronomia é a ciência", num_return_sequences=2, max_new_tokens=100)

for comp in completions:
  print(f"🤖 {comp['generated_text']}")

高级用法

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# Load model and the tokenizer
tokenizer = AutoTokenizer.from_pretrained("nicholasKluge/TeenyTinyLlama-160m", revision='main')
model = AutoModelForCausalLM.from_pretrained("nicholasKluge/TeenyTinyLlama-160m", revision='main')

# Pass the model to your device
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

model.eval()
model.to(device)

# Tokenize the inputs and pass them to the device
inputs = tokenizer("Astronomia é a ciência", return_tensors="pt").to(device)

# Generate some text
completions = model.generate(**inputs, num_return_sequences=2, max_new_tokens=100)

# Print the generated text
for i, completion in enumerate(completions):
    print(f'🤖 {tokenizer.decode(completion)}')

📚 详细文档

预期用途

TeenyTinyLlama的主要预期用途是研究为低资源语言开发语言模型所面临的挑战。训练期间保存的检查点旨在为进行科学实验提供一个可控的环境。只要您的使用遵循Apache 2.0许可协议，您也可以进一步微调并调整TeenyTinyLlama以进行部署。如果您决定使用预训练的TeenyTinyLlama作为微调模型的基础，请自行进行风险和偏差评估。

超出范围的使用

TeenyTinyLlama不适合用于部署。它不是一个产品，不应该用于与人类的交互。

TeenyTinyLlama模型仅支持巴西葡萄牙语，不适合用于翻译或生成其他语言的文本。

TeenyTinyLlama尚未针对语言模型通常部署的下游上下文进行微调。

局限性

与几乎所有在从网络上抓取的大型文本数据集上训练的其他语言模型一样，TTL模型表现出的行为使其不能成为许多现实应用的现成解决方案，特别是那些需要事实性、可靠性、无毒性文本生成的应用。我们的模型存在以下问题：

• 幻觉：该模型可能会生成看似真实但实际上具有误导性或完全错误的内容，即幻觉。
• 偏差和毒性：该模型继承了训练数据中的社会和历史刻板印象。由于这些偏差，模型可能会生成有毒内容，即对个人、群体或社区有害、冒犯或不利的内容。
• 不可靠的代码：模型可能会生成不正确的代码片段和语句。这些代码生成不应被视为建议或准确的解决方案。
• 语言限制：该模型主要设计用于理解标准巴西葡萄牙语。其他语言可能会挑战其理解能力，导致潜在的误解或响应错误。
• 重复和冗长：模型可能会陷入重复循环（特别是在生成过程中重复惩罚设置得很低的情况下），或者生成与给定提示无关的冗长响应。

因此，尽管我们的模型以宽松的许可协议发布，但我们敦促用户在打算将这些模型用于实际应用时对其进行风险分析，并在模型与受众交互的应用中安排人工对模型的输出进行审核，确保用户始终知道他们正在与语言模型进行交互。

评估

在我们的训练过程中，两个模型都表现出了一致的收敛性。我们的评估曲线在任何时候都没有显示出过拟合或饱和的迹象。对于我们的4.6亿参数模型，我们有意在最佳点之后再训练了约75000步，以评估是否有饱和的迹象，但我们的评估结果始终更好。我们假设我们的模型训练不足，但如果进一步训练以超过Chinchilla最佳范围，可能会有所改进。

基准测试

使用 语言模型评估工具（由 EleutherAI 开发）对基准进行评估。我们使用的LM-Evaluation-Harness中的任务由 Laiviet 进行了翻译。标有“*”的模型结果取自 开放大语言模型排行榜。

使用 EleutherAI语言模型评估工具的葡萄牙语实现（由 Eduardo Garcia 创建）对巴西葡萄牙语基准进行评估。

微调比较

为了进一步评估我们模型的下游能力，我们决定对TTL模型在Poeta基准的一部分任务上采用基本的微调程序。为了进行比较，我们对 BERTimbau 模型应用了相同的程序，因为它们也是在巴西葡萄牙语上从头开始训练的LLM，并且与我们的模型规模相似。我们使用这些比较来评估我们的预训练运行是否产生了在用于下游应用时能够产生良好结果（这里的“良好”指“接近BERTimbau”）的LLM。

所有显示的结果都是在训练集上微调模型后，在相应任务测试集上获得的最高准确率分数。所有微调运行都使用了相同的超参数，代码实现可以在我们微调模型的 模型卡片 中找到。

🔧 技术细节

文档未提及技术实现细节，故跳过该部分内容。

📄 许可证

TeenyTinyLlama-160m采用Apache License 2.0许可协议。有关更多详细信息，请参阅 LICENSE 文件。

引用方式 🤗

@misc{correa24ttllama,
  title = {TeenyTinyLlama: open-source tiny language models trained in Brazilian Portuguese},
  author = {Corr{\^e}a, Nicholas Kluge and Falk, Sophia and Fatimah, Shiza and Sen, Aniket and De Oliveira, Nythamar},
  journal={arXiv preprint arXiv:2401.16640},
  year={2024}
}

@misc{correa24ttllama,
  doi = {10.1016/j.mlwa.2024.100558},
  url = {https://www.sciencedirect.com/science/article/pii/S2666827024000343},
  title = {TeenyTinyLlama: open-source tiny language models trained in Brazilian Portuguese},
  author = {Corr{\^e}a, Nicholas Kluge and Falk, Sophia and Fatimah, Shiza and Sen, Aniket and De Oliveira, Nythamar},
  journal={Machine Learning With Applications},
  publisher = {Springer},
  year={2024}
}

资金支持

本仓库是RAIES（Rede de Inteligência Artificial Ética e Segura）计划的一部分，该项目得到了巴西FAPERGS（Fundação de Amparo à Pesquisa do Estado do Rio Grande do Sul）的支持。