🚀 FremyCompany/BioLORD-2023

本模型旨在为临床句子和生物医学概念生成有意义的表示，有效解决了传统方法在生物医学领域表示不够语义化的问题，在文本相似度任务上达到了新的先进水平。

🚀 快速开始

本模型基于 sentence-transformers/all-mpnet-base-v2，并在 BioLORD-Dataset 和 Automatic Glossary of Clinical Terminology (AGCT) 生成的定义上进行了微调。

✨ 主要特性

• 本模型采用了新的预训练策略 BioLORD，通过使用定义和从生物医学本体组成的多关系知识图中派生的简短描述来构建概念表示，克服了传统方法产生非语义表示的问题，生成的概念表示更符合本体的层次结构。
• 本模型建立了临床句子（MedSTS）和生物医学概念（EHR - Rel - B）文本相似度的新的先进水平。
• 本模型在生物医学领域进行了微调，虽然保留了对通用文本生成嵌入的良好能力，但在处理医疗文档（如电子健康记录或临床笔记）时更有用。

📦 安装指南

若要使用本模型，需安装 sentence-transformers：

pip install -U sentence-transformers

💻 使用示例

基础用法

from sentence_transformers import SentenceTransformer
sentences = ["Cat scratch injury", "Cat scratch disease", "Bartonellosis"]

model = SentenceTransformer('FremyCompany/BioLORD-2023')
embeddings = model.encode(sentences)
print(embeddings)

高级用法

若未安装 sentence-transformers，可以按以下方式使用模型：

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

#Mean Pooling - Take attention mask into account for correct averaging
def mean_pooling(model_output, attention_mask):
    token_embeddings = model_output[0] #First element of model_output contains all token embeddings
    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)

# Sentences we want sentence embeddings for
sentences = ["Cat scratch injury", "Cat scratch disease", "Bartonellosis"]

# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('FremyCompany/BioLORD-2023')
model = AutoModel.from_pretrained('FremyCompany/BioLORD-2023')

# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')

# Compute token embeddings
with torch.no_grad():
    model_output = model(**encoded_input)
# Perform pooling
sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
# Normalize embeddings
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)
print("Sentence embeddings:")
print(sentence_embeddings)

📚 详细文档

兄弟模型

本模型是 BioLORD - 2023 系列的一部分，该系列还有其他模型：

• BioLORD-2023-M（多语言模型；从 BioLORD - 2023 蒸馏而来）
• BioLORD-2023（模型平均后的最佳模型；即本模型）
• BioLORD-2023-S（最佳超参数；无模型平均）
• BioLORD-2023-C（仅对比训练；用于命名实体消歧任务）

你还可以查看去年的模型和论文：

• BioLORD-2022（也称为 BioLORD - STAMB2 - v1）

训练策略

3 个阶段总结

对比阶段详情

自蒸馏阶段详情

引用

本模型与 BioLORD-2023: Learning Ontological Representations from Definitions 论文相关。使用本模型时，请按以下方式引用原文：

@article{remy-etal-2023-biolord,
    author = {Remy, François and Demuynck, Kris and Demeester, Thomas},
    title = "{BioLORD-2023: semantic textual representations fusing large language models and clinical knowledge graph insights}",
    journal = {Journal of the American Medical Informatics Association},
    pages = {ocae029},
    year = {2024},
    month = {02},
    issn = {1527-974X},
    doi = {10.1093/jamia/ocae029},
    url = {https://doi.org/10.1093/jamia/ocae029},
    eprint = {https://academic.oup.com/jamia/advance-article-pdf/doi/10.1093/jamia/ocae029/56772025/ocae029.pdf},
}

🔧 技术细节

该模型将句子和段落映射到 768 维的密集向量空间，可用于聚类或语义搜索等任务。它在生物医学领域进行了微调，句子和短语可以嵌入到相同的潜在空间中。

📄 许可证

本模型的个人贡献遵循 MIT 许可证。但由于训练本模型使用的数据来自 UMLS 和 SnomedCT，在使用本模型之前，你需要确保拥有 UMLS 和 SnomedCT 的适当许可。在大多数国家，UMLS 和 SnomedCT 是免费的，但你可能需要创建一个账户并每年报告数据使用情况以保持有效许可。

⚠️ 重要提示

由于训练数据来自 UMLS 和 SnomedCT，使用本模型前需确保有 UMLS 和 SnomedCT 的适当许可。

💡 使用建议

若处理医疗文档（如电子健康记录或临床笔记），本模型会更有用。

🙏 若您有能力，请帮助我 资助我的开放研究。🙏 感谢您的慷慨！🤗