🚀 Artiwise ModernBERT - 基础土耳其语无大小写区分模型

Artiwise ModernBERT 是一款针对土耳其语的 BERT 模型，它采用了现代化的架构，并增加了上下文大小（从旧版 BERT 模型的 512 提升到了 8192），为土耳其语的自然语言处理任务带来了更强大的能力。

🚀 快速开始

我们推出了适用于土耳其语的 Artiwise ModernBERT🎉。这是一个架构现代化且上下文大小增加的 BERT 模型（旧版 BERT 模型为 512，而 ModernBERT 为 8192）。

该模型是 ModernBERT 的土耳其语适配版本，它基于 answerdotai/ModernBERT-base 进行微调，仅使用了 CulturaX 数据集中的土耳其语部分。

📊 模型统计信息

📈 基准测试

以下基准测试结果表明，Artiwise ModernBERT 在多个领域和掩码级别上始终优于现有的土耳其语 BERT 变体，凸显了其卓越的泛化能力。

我们的实验使用了三个数据集：土耳其语生物医学语料库、土耳其语产品评论数据集 和通用领域问答语料库 turkish_v2。

💻 使用示例

基础用法

# 注意：为使模型正常运行，Torch 版本必须 >= 2.6.0，transformers 版本 >= 4.50.0。
# 另外，不要在分词器中使用 `do_lower_case = True` 标志。相反，按如下方式将文本转换为小写：
# text.replace("I", "ı").lower()
# 这是由于分词器存在一个 [已知问题](https://github.com/huggingface/transformers/issues/6680)。

from transformers import AutoTokenizer, AutoModelForMaskedLM
import torch

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("artiwise-ai/modernbert-base-tr-uncased")
model = AutoModelForMaskedLM.from_pretrained("artiwise-ai/modernbert-base-tr-uncased")

# 带有掩码标记的示例句子
text = "Türkiye'nin başkenti [MASK]'dır."
text.replace("I", "ı").lower()

# 分词并准备输入
inputs = tokenizer(text, return_tensors="pt")

# 获取掩码标记的位置
mask_token_index = torch.where(inputs["input_ids"] == tokenizer.mask_token_id)[1]

# 前向传播
with torch.no_grad():
    outputs = model(**inputs)

# 获取掩码标记的预测结果
logits = outputs.logits
mask_token_logits = logits[0, mask_token_index, :]
top_5_tokens = torch.topk(mask_token_logits, 5, dim=1).indices[0].tolist()

# 打印预测结果
print(f"Original text: {text}")
print("Top 5 predictions for [MASK]:")
for token in top_5_tokens:
    print(f"- {tokenizer.decode([token])}")

📄 许可证

本项目采用 MIT 许可证。