🧐 关于

tunbert_zied 是一个基于突尼斯方言的语言模型，其架构与由 zied sbabti 创建的 RoBERTa 模型类似。

该模型训练了超过 60 万条突尼斯方言的短语。

🏁 入门指南

加载 tunbert_zied 及其子词分词器

不要使用 AutoTokenizer.from_pretrained(...) 方法加载分词器，而是使用 BertTokenizer.from_pretrained(...) 方法。（这是因为我没有使用 RoBERTa 模型内置的 GPT 分词器，而是使用了 BertTokenizer）

示例

import transformers as tr

tokenizer = tr.BertTokenizer.from_pretrained("ziedsb19/tunbert_zied")

model = tr.AutoModelForMaskedLM.from_pretrained("ziedsb19/tunbert_zied")

pipeline = tr.pipeline("fill-mask", model= model, tokenizer=tokenizer)

# 通过用 [MASK] 替换短语中的一个词来测试模型

pipeline("Ahla winek [MASK] lioum ?")

# 结果 
"""
[{'sequence': 'ahla winek cv lioum?',
  'score': 0.07968682795763016,
  'token': 869,
  'token_str': 'c v'},
 {'sequence': 'ahla winek enty lioum?',
  'score': 0.06116843968629837,
  'token': 448,
  'token_str': 'e n t y'},
 {'sequence': 'ahla winek ch3amla lioum?',
  'score': 0.057379286736249924,
  'token': 7342,
  'token_str': 'c h 3 a m l a'},
 {'sequence': 'ahla winek cha3malt lioum?',
  'score': 0.028112901374697685,
  'token': 4663,
  'token_str': 'c h a 3 m a l t'},
 {'sequence': 'ahla winek enti lioum?',
  'score': 0.025781650096178055,
  'token': 436,
  'token_str': 'e n t i'}]
"""

✍️ 作者

• zied sbabti - 创意与初始工作