标签:

• 土耳其语
• 土耳其文
• 段落检索 许可证: MIT 语言:
• tr 基础模型: ytu-ce-cosmos/turkish-base-bert-uncased 管道标签: 句子相似度

土耳其语-ColBERT模型

这是一个基于ColBERT架构的土耳其语段落检索模型。

该模型在土耳其语翻译版MS MARCO数据集的50万组三元数据（查询语句、正向段落、负向段落）上对Cosmos土耳其语基础BERT模型进行了微调。

⚠ 使用小写需手动转换

请按以下方式将文本转为小写：

text.replace("I", "ı").lower()

此操作源于分词器的一个已知问题。

使用示例

!pip install ragatouille

from ragatouille import RAGPretrainedModel

rag = RAGPretrainedModel.from_pretrained("ytu-ce-cosmos/turkish-colbert")

docs = [
    "Marie Curie（玛丽·居里）因放射性研究对科学界做出重大贡献，发现了钋和镭元素，成为首位在两个不同领域获得诺贝尔奖的科学家。",
    "Isaac Newton（艾萨克·牛顿）以物理学和数学研究闻名，其万有引力理论和运动定律开创了科学新纪元，在数学分析领域也有重要贡献。", 
    "Albert Einstein（阿尔伯特·爱因斯坦）通过发展相对论奠定了现代物理学基础，1921年获诺贝尔物理学奖，质能方程E=mc²是其最著名公式。",
    "Alexander Fleming（亚历山大·弗莱明）1928年发现青霉素引发医学革命，因此获得1945年诺贝尔医学奖，其研究开创了抗生素发展先河。",
    "Nikola Tesla（尼古拉·特斯拉）开发了交流电系统，在电气工程领域做出革命性贡献，以无线能量传输项目著称。"
]

docs = [doc.replace("I", "ı").lower() for doc in docs]

rag.index(docs, index_name="sampleTest")

query = "获得过多次诺贝尔奖的科学家是谁？"
query = query.replace("I", "ı").lower()

results = rag.search(query, k= 1)
print(results[0]['content']) # 输出居里夫人的介绍段落

评估结果

致谢

• 研究使用Google TensorFlow研究云(TFRC)提供的Cloud TPU完成，感谢TFRC的资源支持 ❤️
• 感谢Hugging Face团队慷慨提供模型下载存储支持 🤗

引用文献

@article{kesgin2023developing,
  title={开发与评估土耳其语小型到中型BERT模型},
  author={凯斯金, 希姆梅特·托普拉克 and 尤斯, 穆扎弗尔·卡安 and 阿马萨利, 穆罕默德·法提赫},
  journal={arXiv预印本 arXiv:2307.14134},
  year={2023}
}

联系方式

伊斯坦布尔理工大学计算机工程系COSMOS人工智能研究组
官网: https://cosmos.yildiz.edu.tr/
邮箱: cosmos@yildiz.edu.tr