语言:

• 日语 任务标签: 句子相似度 标签:
• 句子转换器
• 特征提取
• 句子相似度
• 转换器 推理: 否 数据集:
• shunk031/JGLUE
• shunk031/jsnli
• hpprc/jsick
• miracl/miracl
• castorini/mr-tydi
• unicamp-dl/mmarco 库名称: sentence-transformers

fio-base-japanese-v0.1

日语版本即将发布（我正在学习日语，如有错误请见谅！）

fio-base-japanese-v0.1是一个概念验证，也是Fio系列日语嵌入模型的首个版本。它基于cl-tohoku/bert-base-japanese-v3，并在单GPU上使用有限数据量进行训练。

更多信息，请参阅关于Fio的笔记。

数据集

相似性/蕴含：

• JSTS（训练集）
• JSNLI（训练集）
• JNLI（训练集）
• JSICK（训练集）

检索：

• MMARCO（多语言Marco）（训练集，12.4万句对，少于完整数据的1%）
• Mr.TyDI（训练集）
• MIRACL（训练集，50%样本）
• JSQuAD（训练集，50%样本，无LLM增强） 发布版本中未使用JSQuAD，以作为未见测试集。

结果

⚠️ 警告：fio-base-japanese-v0.1在训练过程中接触过文本蕴含任务，而表中其他仅限日语的模型则没有。这使得Fio相对于之前的最佳结果cl-nagoya/sup-simcse-ja-[base|large]具有不公平的优势。在训练中期评估中，这似乎并未显著影响性能，但JSICK（NLI集）被包含在训练数据中，因此目前无法完全消除这种影响。我计划在未来的版本中修复此问题，但在查看结果时请记住这一点（有关完全未见的比较，请参阅相关博客文章中的JSQuAD结果，尽管重点是检索）。

此表改编自oshizo的基准测试GitHub仓库并进行了截断（仅保留最受欢迎的模型），请查看更多信息并为其点赞，因为它非常有用！

斜体表示在其规模下表现最佳的模型（当较小模型优于较大模型时，base/large | 768/1024），粗体表示整体最佳。