许可协议：apache-2.0
推理：false

industry-bert-sec-v0.1

industry-bert-sec-v0.1 是专为行业优化的sentence_transformer嵌入模型系列中的一员。

模型描述

industry-bert-sec-v0.1 是一款基于BERT架构、经领域微调的768维句向量转换模型，旨在作为金融与监管领域嵌入任务的"即插即用"替代方案。该模型通过大量公开的美国证券交易委员会（SEC）监管文件及相关文档训练而成。

• 开发团队: llmware
• 模型类型: 基于BERT的行业领域微调句向量转换架构
• 支持语言: 英语
• 许可协议: Apache 2.0
• 微调基础模型: BERT架构模型，具体微调方法如下所述

模型使用

from transformers import AutoTokenizer, AutoModel  

tokenizer = AutoTokenizer.from_pretrained("llmware/industry-bert-sec-v0.1")  

model = AutoModel.from_pretrained("llmware/industry-bert-sec-v0.1")  

偏差、风险与局限性

本语义嵌入模型基于公开SEC文件及监管文档微调，在此领域外使用效果可能波动。与所有嵌入模型类似，向量空间存在异常值的可能性。未针对数据集安全性或潜在偏差设置专门防护机制。

训练方法

采用自定义自监督流程与混合对比学习技术的专属数据集，结合样本随机扰动注入方法。训练方法论主要受以下三篇论文启发：TSDAE（Reimers）、DeClutr（Giorgi）及对比张力（Carlsson）。

引用文献

模型训练使用的自监督协议受以下论文启发：

@article{wang-2021-TSDAE,
title = "TSDAE：基于Transformer的序列去噪自编码器在无监督句向量学习中的应用",
author = "王可欣, 尼尔斯·莱默斯, 伊琳娜·古列维奇",
journal= "arXiv预印本 arXiv:2104.06979",
month = "4",
year = "2021",
url = "https://arxiv.org/abs/2104.06979",
}

@inproceedings{giorgi-etal-2021-declutr,
title = {{DeCLUTR}：无监督文本表示的深度对比学习框架},
author = {约翰·乔治, 奥斯瓦尔德·尼茨基, 王博, 加里·巴德},
year = 2021,
month = 8月,
booktitle = {第59届ACL年会暨第11届自然语言处理国际联合会议论文集},
publisher = {计算语言学协会},
address = {线上会议},
pages = {879--895},
doi = {10.18653/v1/2021.acl-long.72},
url = {https://aclanthology.org/2021.acl-long.72}
}

@article{Carlsson-2021-CT,
title = {基于对比张力的语义重调技术},
author= {弗雷德里克·卡尔森, 阿马鲁·古巴·吉尔斯坦, 伊万杰利亚·戈古卢, 埃里克·伊尔帕·赫尔奎斯特, 马格努斯·萨尔格伦},
year= {2021},
month= {"1月"}
首发日期：2021年1月12日，最后修订：2023年5月5日
}

模型卡联系人

llmware 达伦·奥伯斯特