许可证: cc-by-nc-4.0 语言:

• 英文 库名称: transformers 标签:
• 数据标注

模型详情

RefuelLLM-2-small，又名Llama-3-Refueled，是基于Llama3-8B的指令微调模型，训练数据涵盖2750多个数据集，任务范围包括分类、阅读理解、结构化属性提取和实体解析等。我们很高兴能为社区开源这一模型，供大家在此基础上进行构建。

• 更多关于RefuelLLM-2系列模型的详情
• 您也可以在我们的LLM游乐场中试用这些模型

模型开发者 - Refuel AI

输入 - 仅限文本。

输出 - 仅限文本。

架构 - Llama-3-Refueled基于Llama-3-8B-instruct构建，这是一个使用优化Transformer架构的自回归语言模型。

发布日期 - 2024年5月8日。

许可证 - CC BY-NC 4.0

使用方法

此仓库包含与HuggingFace兼容的Llama-3-Refueled权重。以下为使用Transformers的代码片段：

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer

>>> model_id = "refuelai/Llama-3-Refueled"
>>> tokenizer = AutoTokenizer.from_pretrained(model_id)
>>> model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float16, device_map="auto")

>>> messages = [{"role": "user", "content": "这段评论是有毒还是无毒：RefuelLLM是标注文本数据的新方式！"}]

>>> inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True).to("cuda")

>>> outputs = model.generate(inputs, max_new_tokens=20)
>>> print(tokenizer.decode(outputs[0]))

训练数据

该模型训练使用了超过40亿个标记，涵盖2750多个NLP任务。我们的训练数据主要包括：

1. 人工标注数据集，如Flan、Task Source和Aya系列
2. 合成数据集，如OpenOrca、OpenHermes和WizardLM
3. Refuel AI开发或授权的专有数据集

基准测试

本节报告Refuel模型在标注任务基准测试中的结果。方法详情请参见此处。

局限性

Llama-3-Refueled目前没有任何内容审核机制。我们期待与社区合作，探索如何使模型更好地遵守安全护栏，以便在需要受控输出的环境中部署。