语言:

• 日语 缩略图: 标签:
• xlnet
• 语言模型头
• 因果语言模型 许可证:
• Apache-2.0 数据集:
• 日本商业新闻 指标:

XLNet-日语版

模型描述

该模型需要使用Mecab和带有XLNetTokenizer的sentencepiece。 详情请见: https://qiita.com/mkt3/items/4d0ae36f3f212aee8002

本模型采用NFKD作为字符编码的标准化方法。 日语中的浊音点和半浊音点将被忽略。

这是一个不包含日语浊音和半浊音的模型

使用方法

from fugashi import Tagger 

from transformers import (
    pipeline,
    XLNetLMHeadModel,
    XLNetTokenizer
)

class XLNet():
    def __init__(self):
        self.m = Tagger('-Owakati') 
        self.gen_model = XLNetLMHeadModel.from_pretrained("hajime9652/xlnet-japanese")
        self.gen_tokenizer = XLNetTokenizer.from_pretrained("hajime9652/xlnet-japanese")
         
    def generate(self, prompt="福岡的饭菜很美味。这是一个生活便利的紧凑型城市。"):
        prompt = self.m.parse(prompt)
        inputs = self.gen_tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt")
        prompt_length = len(self.gen_tokenizer.decode(inputs[0], skip_special_tokens=True, clean_up_tokenization_spaces=True))
        outputs = self.gen_model.generate(inputs, max_length=200, do_sample=True, top_p=0.95, top_k=60)
        generated = prompt + self.gen_tokenizer.decode(outputs[0])[prompt_length:]
        return generated

局限性与偏差

该模型的训练数据来源于日本商业新闻。

重要事项

创建并发布此模型的公司名为Stockmark。 此仓库仅供HuggingFace使用，不构成侵权。 详情参见由https://github.com/mkt3发布的文档: https://qiita.com/mkt3/items/4d0ae36f3f212aee8002