Arabic SBERT 100K
基于BERT的阿拉伯语句子嵌入模型,支持语义文本相似度计算等任务
下载量 770
发布时间 : 7/26/2024
模型简介
该模型是基于aubmindlab/bert-base-arabertv02微调的句子转换器模型,能将阿拉伯语句子和段落映射到768维稠密向量空间,适用于语义搜索、文本分类等任务。
模型特点
阿拉伯语优化
专门针对阿拉伯语文本进行优化,能更好地处理阿拉伯语特有的语言特征
高效向量表示
将文本转换为768维稠密向量,保留语义信息同时保持计算效率
多任务支持
支持语义相似度计算、语义搜索、文本分类等多种下游任务
模型能力
语义文本相似度计算
语义搜索
复述挖掘
文本分类
文本聚类
使用案例
信息检索
阿拉伯语文档搜索
根据查询语义匹配相关阿拉伯语文档
可提高搜索结果的相关性
内容分析
阿拉伯语新闻分类
基于内容相似度对阿拉伯语新闻进行分类
🚀 Arabic-SBERT-100K
这是一个基于 sentence-transformers 框架,从 aubmindlab/bert-base-arabertv02 微调而来的模型。它能够将句子和段落映射到一个 768 维的密集向量空间,可用于语义文本相似度计算、语义搜索、释义挖掘、文本分类、聚类等任务。该模型在从 akhooli/arabic-triplets-1m-curated-sims-len 数据集中筛选出的 100K 样本上进行训练,其中 75K 用于训练,25K 用于验证。模型训练了 5 个轮次,最终训练损失为 0.133(使用 MatryoshkaLoss)。
✨ 主要特性
- 基于
sentence-transformers
框架微调,具有良好的语义表示能力。 - 可将句子和段落映射到 768 维的密集向量空间,适用于多种自然语言处理任务。
- 在阿拉伯语数据集上进行训练,对阿拉伯语语义理解有较好的效果。
📦 安装指南
首先,你需要安装 sentence-transformers
库:
pip install -U sentence-transformers
💻 使用示例
基础用法
from sentence_transformers import SentenceTransformer
# 从 🤗 Hub 下载模型
model = SentenceTransformer("sentence_transformers_model_id")
# 运行推理
sentences = [
'ما هو نوع الدهون الموجودة في الأفوكادو',
'حوالي 15 في المائة من الدهون في الأفوكادو مشبعة ، مع كل كوب واحد من الأفوكادو المفروم يحتوي على 3.2 جرام من الدهون المشبعة ، وهو ما يمثل 16 في المائة من DV البالغ 20 جرامًا. تحتوي الأفوكادو في الغالب على دهون أحادية غير مشبعة ، مع 67 في المائة من إجمالي الدهون ، أو 14.7 جرامًا لكل كوب مفروم ، ويتكون من هذا النوع من الدهون.',
'يمكن أن يؤدي ارتفاع مستوى الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب ، ويمكن أن يؤدي توفير مستوى مرتفع من الدهون الثلاثية ، وهي نوع من الدهون (الدهون) في الدم ، إلى زيادة خطر الإصابة بأمراض القلب. مرض.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# 获取嵌入向量的相似度得分
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
📚 详细文档
模型详情
模型描述
属性 | 详情 |
---|---|
模型类型 | Sentence Transformer |
基础模型 | aubmindlab/bert-base-arabertv02 |
最大序列长度 | 512 个标记 |
输出维度 | 768 个标记 |
相似度函数 | 余弦相似度 |
模型来源
- 文档:Sentence Transformers Documentation
- 仓库:Sentence Transformers on GitHub
- Hugging Face:Sentence Transformers on Hugging Face
完整模型架构
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
训练详情
训练数据集
- 未命名数据集
- 大小:75,000 个训练样本
- 列:
anchor
、positive
和negative
- 基于前 1000 个样本的近似统计信息:
anchor positive negative 类型 字符串 字符串 字符串 详情 - 最小:4 个标记
- 平均:12.88 个标记
- 最大:58 个标记
- 最小:4 个标记
- 平均:13.74 个标记
- 最大:126 个标记
- 最小:4 个标记
- 平均:13.38 个标记
- 最大:146 个标记
- 样本:
anchor positive negative هل تشاجر (سي إس لويس) و (جي آر آر تولكين) ؟ إن كان الأمر كذلك، فما هو السبب؟
هل صحيح أن (سي إس لويس) و (تولكين) تشاجرا؟
ما هي أفضل الكتب للدراسة في الجامعة؟
ما هي اعراض فقر الدم؟
ما هي اعراض الانيميا؟
كيف احضر كيكة العسل؟
من ستصوت له، دونالد ترامب أم هيلاري كلينتون؟
هل تؤيدون دونالد ترامب أم هيلاري كلينتون؟ لماذا؟
كيف أتغلب على إدمان المواد الإباحية؟
- 损失函数:
MatryoshkaLoss
,参数如下:{ "loss": "MultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128, 64 ], "matryoshka_weights": [ 1, 1, 1, 1, 1 ], "n_dims_per_step": -1 }
评估数据集
- 未命名数据集
- 大小:25,000 个评估样本
- 列:
anchor
、positive
和negative
- 基于前 1000 个样本的近似统计信息:
anchor positive negative 类型 字符串 字符串 字符串 详情 - 最小:4 个标记
- 平均:12.6 个标记
- 最大:70 个标记
- 最小:4 个标记
- 平均:14.82 个标记
- 最大:239 个标记
- 最小:4 个标记
- 平均:13.78 个标记
- 最大:128 个标记
- 样本:
anchor positive negative نعم , نعم , أو رأيت " تشيما بارا ديسو "
نعم، أو "تشيما بارا ديسو" كانت تلك التي شاهدتها
أنا لم أرى "تشيما بارا ديسو".
رجل وامرأة يجلسان على الشاطئ بينما تغرب الشمس
هناك رجل وامرأة يجلسان على الشاطئ
إنهم يشاهدون شروق الشمس
كيف أسيطر على غضبي؟
ما هي أفضل طريقة للسيطرة على الغضب؟
كيف أعرف إن كانت زوجتي تخونني؟
- 损失函数:
MatryoshkaLoss
,参数如下:{ "loss": "MultipleNegativesRankingLoss", "matryoshka_dims": [ 768, 512, 256, 128, 64 ], "matryoshka_weights": [ 1, 1, 1, 1, 1 ], "n_dims_per_step": -1 }
训练超参数
非默认超参数
eval_strategy
:按步骤评估per_device_train_batch_size
:16per_device_eval_batch_size
:16learning_rate
:2e-05num_train_epochs
:5warmup_ratio
:0.1fp16
:Truebatch_sampler
:无重复样本
所有超参数
点击展开
overwrite_output_dir
: Falsedo_predict
: Falseeval_strategy
: stepsprediction_loss_only
: Trueper_device_train_batch_size
: 16per_device_eval_batch_size
: 16per_gpu_train_batch_size
: Noneper_gpu_eval_batch_size
: Nonegradient_accumulation_steps
: 1eval_accumulation_steps
: Nonelearning_rate
: 2e-05weight_decay
: 0.0adam_beta1
: 0.9adam_beta2
: 0.999adam_epsilon
: 1e-08max_grad_norm
: 1.0num_train_epochs
: 5max_steps
: -1lr_scheduler_type
: linearlr_scheduler_kwargs
: {}warmup_ratio
: 0.1warmup_steps
: 0log_level
: passivelog_level_replica
: warninglog_on_each_node
: Truelogging_nan_inf_filter
: Truesave_safetensors
: Truesave_on_each_node
: Falsesave_only_model
: Falserestore_callback_states_from_checkpoint
: Falseno_cuda
: Falseuse_cpu
: Falseuse_mps_device
: Falseseed
: 42data_seed
: Nonejit_mode_eval
: Falseuse_ipex
: Falsebf16
: Falsefp16
: Truefp16_opt_level
: O1half_precision_backend
: autobf16_full_eval
: Falsefp16_full_eval
: Falsetf32
: Nonelocal_rank
: 0ddp_backend
: Nonetpu_num_cores
: Nonetpu_metrics_debug
: Falsedebug
: []dataloader_drop_last
: Falsedataloader_num_workers
: 0dataloader_prefetch_factor
: Nonepast_index
: -1disable_tqdm
: Falseremove_unused_columns
: Truelabel_names
: Noneload_best_model_at_end
: Falseignore_data_skip
: Falsefsdp
: []fsdp_min_num_params
: 0fsdp_config
: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap
: Noneaccelerator_config
: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed
: Nonelabel_smoothing_factor
: 0.0optim
: adamw_torchoptim_args
: Noneadafactor
: Falsegroup_by_length
: Falselength_column_name
: lengthddp_find_unused_parameters
: Noneddp_bucket_cap_mb
: Noneddp_broadcast_buffers
: Falsedataloader_pin_memory
: Truedataloader_persistent_workers
: Falseskip_memory_metrics
: Trueuse_legacy_prediction_loop
: Falsepush_to_hub
: Falseresume_from_checkpoint
: Nonehub_model_id
: Nonehub_strategy
: every_savehub_private_repo
: Falsehub_always_push
: Falsegradient_checkpointing
: Falsegradient_checkpointing_kwargs
: Noneinclude_inputs_for_metrics
: Falseeval_do_concat_batches
: Truefp16_backend
: autopush_to_hub_model_id
: Nonepush_to_hub_organization
: Nonemp_parameters
:auto_find_batch_size
: Falsefull_determinism
: Falsetorchdynamo
: Noneray_scope
: lastddp_timeout
: 1800torch_compile
: Falsetorch_compile_backend
: Nonetorch_compile_mode
: Nonedispatch_batches
: Nonesplit_batches
: Noneinclude_tokens_per_second
: Falseinclude_num_input_tokens_seen
: Falseneftune_noise_alpha
: Noneoptim_target_modules
: Nonebatch_eval_metrics
: Falseeval_on_start
: Falsebatch_sampler
: no_duplicatesmulti_dataset_batch_sampler
: proportional
训练日志
轮次 | 步骤 | 训练损失 | 损失 |
---|---|---|---|
0.2133 | 500 | 1.4163 | 0.3134 |
0.4266 | 1000 | 0.3306 | 0.1912 |
0.6399 | 1500 | 0.2263 | 0.1527 |
0.8532 | 2000 | 0.1818 | 0.1297 |
1.0666 | 2500 | 0.1658 | 0.1167 |
1.2799 | 3000 | 0.1139 | 0.1040 |
1.4932 | 3500 | 0.0808 | 0.1018 |
1.7065 | 4000 | 0.0692 | 0.0959 |
1.9198 | 4500 | 0.058 | 0.0958 |
2.1331 | 5000 | 0.0653 | 0.0882 |
2.3464 | 5500 | 0.0503 | 0.0912 |
2.5597 | 6000 | 0.0338 | 0.0970 |
2.7730 | 6500 | 0.0363 | 0.0906 |
2.9863 | 7000 | 0.0375 | 0.0856 |
3.1997 | 7500 | 0.0401 | 0.0879 |
3.4130 | 8000 | 0.031 | 0.0848 |
3.6263 | 8500 | 0.0255 | 0.0938 |
3.8396 | 9000 | 0.0239 | 0.0858 |
4.0529 | 9500 | 0.0305 | 0.0840 |
4.2662 | 10000 | 0.0281 | 0.0833 |
4.4795 | 10500 | 0.0174 | 0.0840 |
4.6928 | 11000 | 0.0216 | 0.0882 |
4.9061 | 11500 | 0.022 | 0.0866 |
框架版本
- Python: 3.10.13
- Sentence Transformers: 3.0.1
- Transformers: 4.42.3
- PyTorch: 2.1.2
- Accelerate: 0.32.1
- Datasets: 2.20.0
- Tokenizers: 0.19.1
📄 许可证
文档中未提及许可证相关信息。
📚 引用
BibTeX
Sentence Transformers
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
MatryoshkaLoss
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
MultipleNegativesRankingLoss
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Jina Embeddings V3
Jina Embeddings V3 是一个多语言句子嵌入模型,支持超过100种语言,专注于句子相似度和特征提取任务。
文本嵌入
Transformers 支持多种语言

J
jinaai
3.7M
911
Ms Marco MiniLM L6 V2
Apache-2.0
基于MS Marco段落排序任务训练的交叉编码器模型,用于信息检索中的查询-段落相关性评分
文本嵌入 英语
M
cross-encoder
2.5M
86
Opensearch Neural Sparse Encoding Doc V2 Distill
Apache-2.0
基于蒸馏技术的稀疏检索模型,专为OpenSearch优化,支持免推理文档编码,在搜索相关性和效率上优于V1版本
文本嵌入
Transformers 英语

O
opensearch-project
1.8M
7
Sapbert From PubMedBERT Fulltext
Apache-2.0
基于PubMedBERT的生物医学实体表征模型,通过自对齐预训练优化语义关系捕捉
文本嵌入 英语
S
cambridgeltl
1.7M
49
Gte Large
MIT
GTE-Large 是一个强大的句子转换器模型,专注于句子相似度和文本嵌入任务,在多个基准测试中表现出色。
文本嵌入 英语
G
thenlper
1.5M
278
Gte Base En V1.5
Apache-2.0
GTE-base-en-v1.5 是一个英文句子转换器模型,专注于句子相似度任务,在多个文本嵌入基准测试中表现优异。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.5M
63
Gte Multilingual Base
Apache-2.0
GTE Multilingual Base 是一个多语言的句子嵌入模型,支持超过50种语言,适用于句子相似度计算等任务。
文本嵌入
Transformers 支持多种语言

G
Alibaba-NLP
1.2M
246
Polybert
polyBERT是一个化学语言模型,旨在实现完全由机器驱动的超快聚合物信息学。它将PSMILES字符串映射为600维密集指纹,以数值形式表示聚合物化学结构。
文本嵌入
Transformers

P
kuelumbus
1.0M
5
Bert Base Turkish Cased Mean Nli Stsb Tr
Apache-2.0
基于土耳其语BERT的句子嵌入模型,专为语义相似度任务优化
文本嵌入
Transformers 其他

B
emrecan
1.0M
40
GIST Small Embedding V0
MIT
基于BAAI/bge-small-en-v1.5模型微调的文本嵌入模型,通过MEDI数据集与MTEB分类任务数据集训练,优化了检索任务的查询编码能力。
文本嵌入
Safetensors 英语
G
avsolatorio
945.68k
29
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98
智启未来,您的人工智能解决方案智库
简体中文