license: llama2 tags:

• facebook
• meta
• pytorch
• llama
• llama-2
• Storywriter model_type: llama model-index:
• name: GOAT-70B-Storytelling results:
  • task: type: text-generation name: 文本生成 dataset: name: AI2推理挑战赛（25样本） type: ai2_arc config: ARC-Challenge split: test args: num_few_shot: 25 metrics:
    • type: acc_norm value: 68.77 name: 标准化准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=GOAT-AI/GOAT-70B-Storytelling name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: HellaSwag（10样本） type: hellaswag split: validation args: num_few_shot: 10 metrics:
    • type: acc_norm value: 87.74 name: 标准化准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=GOAT-AI/GOAT-70B-Storytelling name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: MMLU（5样本） type: cais/mmlu config: all split: test args: num_few_shot: 5 metrics:
    • type: acc value: 69.92 name: 准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=GOAT-AI/GOAT-70B-Storytelling name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: TruthfulQA（0样本） type: truthful_qa config: multiple_choice split: validation args: num_few_shot: 0 metrics:
    • type: mc2 value: 53.53 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=GOAT-AI/GOAT-70B-Storytelling name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: Winogrande（5样本） type: winogrande config: winogrande_xl split: validation args: num_few_shot: 5 metrics:
    • type: acc value: 83.5 name: 准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=GOAT-AI/GOAT-70B-Storytelling name: 开放大模型排行榜
  • task: type: text-generation name: 文本生成 dataset: name: GSM8k（5样本） type: gsm8k config: main split: test args: num_few_shot: 5 metrics:
    • type: acc value: 40.79 name: 准确率 source: url: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=GOAT-AI/GOAT-70B-Storytelling name: 开放大模型排行榜

GOAT-70B-Storytelling 模型

GOAT-70B-Storytelling 模型由 GOAT.AI 实验室训练，作为自主故事写作代理的核心模型。

GOAT-Storytelling-Agent

该代理能够生成高质量、连贯且引人入胜的叙事内容，包括故事和书籍。它通过利用情节大纲、角色设定、角色关系以及其他相关细节来实现这一目标。以下是一些示例。

模型描述

• 基础架构: LLaMA 2 70B
• 许可证: llama2
• 上下文窗口长度: 4096 个 token

训练细节

训练在 64 个 H100 GPU 集群上进行。采用 FSDP ZeRO-3 分片技术以提高训练效率。我们在 18K 样本的数据集上进行了指令微调，训练一个 epoch，批次大小为 336，使用 AdamW 优化器，学习率为 1e-5。

了解更多

• 博客文章: GOAT-Storytelling: 任意长度的故事写作代理
• GitHub: 此处
• 生成示例: 此处

用途

GOAT-70B-Storytelling 的主要用途是作为 GOAT-Storytelling-Agent 的一部分，生成书籍、小说、电影剧本等内容。它专为故事作者设计。

使用方法

可以通过 transformers 自行托管或使用 Spaces 来使用该模型。

import torch

from transformers import AutoTokenizer, AutoModelForCausalLM

model_name = "GOAT-AI/GOAT-70B-Storytelling"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16
)

目前，我们支持通过 LLM 端点生成内容，您需要向生成端点发送 POST 请求（我们推荐使用 HuggingFace 的 Text Generation Inference）。

以下是使用 GOAT-Storytelling-Agent 调用模型的方法：

from goat_storytelling_agent.storytelling_agent import StoryAgent

backend_uri = # 文本生成端点
writer = StoryAgent(backend_uri, form='novel')
novel_scenes = writer.generate_story('丛林寻宝')

许可证

GOAT-70B-Storytelling 模型基于 Meta 的 LLaMA-2-70b-hf，并使用自有数据集进行训练。

GOAT-70B-Storytelling 模型权重遵循 LLAMA-2 许可证。

风险与偏见

GOAT-70B-Storytelling 模型可能会生成事实错误的输出，不应依赖其提供准确的事实信息。因此，该模型可能会产生错误、偏见或冒犯性的内容。

开放大模型排行榜评估结果

详细结果请参见此处