🚀 mBERT孟加拉语问答模型

本项目的mBERT-Bengali-Tydiqa-QA是一个问答模型，它基于bert-base-multilingual-uncased模型，使用tydiqa孟加拉语数据集进行了微调。

🚀 快速开始

✨ 主要特性

• 基于多语言预训练模型bert-base-multilingual-uncased，具备良好的泛化能力。
• 使用tydiqa孟加拉语数据集进行微调，针对孟加拉语问答任务进行了优化。

📦 安装指南

你可以使用 bntransformer 工具。

pip install bntransformer

💻 使用示例

基础用法

from bntransformer import BanglaQA

bnqa = BanglaQA()
# 你可以自定义模型路径或其他孟加拉语Hugging Face模型路径
# 默认使用 "sagorsarker/mbert-bengali-tydiqa-qa"
context = "সূর্য সেন ১৮৯৪ সালের ২২ মার্চ চট্টগ্রামের রাউজান থানার নোয়াপাড়ায় অর্থনৈতিক ভাবে অস্বচ্ছল পরিবারে জন্মগ্রহণ করেন। তাঁর পিতার নাম রাজমনি সেন এবং মাতার নাম শশী বালা সেন। রাজমনি সেনের দুই ছেলে আর চার মেয়ে। সূর্য সেন তাঁদের পরিবারের চতুর্থ সন্তান। দুই ছেলের নাম সূর্য ও কমল। চার মেয়ের নাম বরদাসুন্দরী, সাবিত্রী, ভানুমতী ও প্রমিলা। শৈশবে পিতা মাতাকে হারানো সূর্য সেন কাকা গৌরমনি সেনের কাছে মানুষ হয়েছেন। সূর্য সেন ছেলেবেলা থেকেই খুব মনোযোগী ভাল ছাত্র ছিলেন এবং ধর্মভাবাপন্ন গম্ভীর প্রকৃতির ছিলেন।"
question = "মাস্টারদা সূর্যকুমার সেনের বাবার নাম কী ছিল ?"

answers = bnqa.find_answer(context, question)
print(answers)

高级用法

使用Transformers QA Pipeline：

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "sagorsarker/mbert-bengali-tydiqa-qa"
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
qa_input = {
    'question': 'মাস্টারদা সূর্যকুমার সেনের বাবার নাম কী ছিল ?',
    'context': 'সূর্য সেন ১৮৯৪ সালের ২২ মার্চ চট্টগ্রামের রাউজান থানার নোয়াপাড়ায় অর্থনৈতিক ভাবে অস্বচ্ছল পরিবারে জন্মগ্রহণ করেন। তাঁর পিতার নাম রাজমনি সেন এবং মাতার নাম শশী বালা সেন। রাজমনি সেনের দুই ছেলে আর চার মেয়ে। সূর্য সেন তাঁদের পরিবারের চতুর্থ সন্তান। দুই ছেলের নাম সূর্য ও কমল। চার মেয়ের নাম বরদাসুন্দরী, সাবিত্রী, ভানুমতী ও প্রমিলা। শৈশবে পিতা মাতাকে হারানো সূর্য সেন কাকা গৌরমনি সেনের কাছে মানুষ হয়েছেন। সূর্য সেন ছেলেবেলা থেকেই খুব মনোযোগী ভাল ছাত্র ছিলেন এবং ধর্মভাবাপন্ন গম্ভীর প্রকৃতির ছিলেন।'
}
result = nlp(qa_input)
print(result)

🔧 技术细节

• 模型构建：mBERT-Bengali-Tydiqa-QA 模型基于 bert-base-multilingual-uncased 构建。
• 训练数据：使用 tydiqa 孟加拉语数据集进行训练，该数据集包含 2390 条训练数据 和 113 条验证数据。
• 训练环境：在 kaggle 的 GPU 上进行训练。
• 训练轮数：总共训练了 5 个轮次。
• 训练配置：使用 transformers/example/question-aswering 笔记本进行训练，除了预训练模型和数据集部分，其余均使用默认设置。

📚 详细文档

评估结果

以下是训练评估部分的结果：

Exact Match: 57.52212389380531
F1 Score: 68.66183963529096

📄 许可证

本项目采用 MIT 许可证。

👥 作者信息

• Sagor Sarker
  • Github
  • LinkedIn