使用方法

环境要求

使用Transformers需安装transformers和sentencepiece库，可通过pip安装：

pip install transformers sentencepiece  

快速管道调用 🚀

若对Transformers不熟悉，可使用内置管道（pipeline）。
注意：管道模式不支持"无答案"场景。

from transformers import pipeline  

model_name = "SajjadAyoubi/lm-roberta-large-fa-qa"  
qa_pipeline = pipeline("question-answering", model=model_name, tokenizer=model_name)  

text = "سلام من سجاد ایوبی هستم ۲۰ سالمه و به پردازش زبان طبیعی علاقه دارم"  
questions = ["اسمم چیه؟", "چند سالمه؟", "به چی علاقه دارم؟"]  

for question in questions:  
    print(qa_pipeline({"context": text, "question": question}))  

>>> {'score': 0.4839823544025421, 'start': 8, 'end': 18, 'answer': 'سجاد ایوبی'}  
>>> {'score': 0.3747948706150055, 'start': 24, 'end': 32, 'answer': '۲۰ سالمه'}  
>>> {'score': 0.5945395827293396, 'start': 38, 'end': 55, 'answer': 'پردازش زبان طبیعی'}  

手动调用模式 🔥

手动调用支持"无答案"判断，且性能更优。

• PyTorch版本

from transformers import AutoTokenizer, AutoModelForQuestionAnswering  
from src.utils import AnswerPredictor  

model_name = "SajjadAyoubi/lm-roberta-large-fa-qa"  
tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = AutoModelForQuestionAnswering.from_pretrained(model_name)  

text = "سلام من سجاد ایوبی هستم ۲۰ سالمه و به پردازش زبان طبیعی علاقه دارم"  
questions = ["اسمم چیه؟", "چند سالمه؟", "به چی علاقه دارم؟"]  

# 此工具类来自src/utils.py，可查看源码了解更多  
predictor = AnswerPredictor(model, tokenizer, device="cpu", n_best=10)  
preds = predictor(questions, [text] * 3, batch_size=3)  

for k, v in preds.items():  
    print(v)  

输出示例：

100%|██████████| 1/1 [00:00<00:00,  3.56it/s]  
{'score': 8.040637016296387, 'text': 'سجاد ایوبی'}  
{'score': 9.901972770690918, 'text': '۲۰'}  
{'score': 12.117212295532227, 'text': 'پردازش زبان طبیعی'}  

• TensorFlow 2.X版本

from transformers import AutoTokenizer, TFAutoModelForQuestionAnswering  
from src.utils import TFAnswerPredictor  

model_name = "SajjadAyoubi/lm-roberta-large-fa-qa"  
tokenizer = AutoTokenizer.from_pretrained(model_name)  
model = TFAutoModelForQuestionAnswering.from_pretrained(model_name)  

text = "سلام من سجاد ایوبی هستم ۲۰ سالمه و به پردازش زبان طبیعی علاقه دارم"  
questions = ["اسمم چیه؟", "چند سالمه؟", "به چی علاقه دارم؟"]  

# 此工具类来自src/utils.py，可查看源码了解更多  
predictor = TFAnswerPredictor(model, tokenizer, n_best=10)  
preds = predictor(questions, [text] * 3, batch_size=3)  

for k, v in preds.items():  
    print(v)  

输出示例：

100%|██████████| 1/1 [00:00<00:00,  3.56it/s]  
{'score': 8.040637016296387, 'text': 'سجاد ایوبی'}  
{'score': 9.901972770690918, 'text': '۲۰'}  
{'score': 12.117212295532227, 'text': 'پردازش زبان طبیعی'}  

完整演示可参考Google Colab上的HowToUse交互式笔记本