语言：英语
许可协议：MIT

Fairseq-dense 13B - 珍妮薇

模型描述

Fairseq-dense 13B-Janeway是基于Fairseq混合专家密集模型微调而成的版本。

训练数据

训练数据包含约2210本电子书，题材以科幻与奇幻类为主。该数据集与GPT-Neo-2.7B-Janeway所用数据集完全一致。
部分数据片段已通过以下格式文本进行前缀标注：[体裁：<体裁1>,<体裁2>]

使用方法

可直接通过文本生成管道调用本模型。以下示例每次运行会生成不同文本序列：

>>> from transformers import pipeline
>>> generator = pipeline('text-generation', model='KoboldAI/fairseq-dense-13B-Janeway')
>>> generator("欢迎珍妮薇舰长，我为延误表示歉意。", do_sample=True, min_length=50)
[{'generated_text': '欢迎珍妮薇舰长，我为延误表示歉意。"\n没关系，"珍妮薇说。"我相信你已尽力让我了解事态进展。"'}]

局限性与偏差

基于NLP技术的已知问题，潜在相关因素包括（性别、职业、种族与宗教等方面的）偏见。

BibTeX条目及引用信息

Artetxe等人(2021):《基于专家混合的大规模高效语言建模》