🚀 OpenMed-NER-SpeciesDetect-PubMed-335M

这是一款专门用于物种实体识别的模型，可精准识别物种和生物体名称

🚀 快速开始

安装

pip install transformers torch

使用

from transformers import pipeline

# 加载模型和分词器
# 模型地址: https://huggingface.co/OpenMed/OpenMed-NER-SpeciesDetect-PubMed-335M
model_name = "OpenMed/OpenMed-NER-SpeciesDetect-PubMed-335M"

# 创建管道
medical_ner_pipeline = pipeline(
    model=model_name,
    aggregation_strategy="simple"
)

# 示例用法
text = "Escherichia coli bacteria were found in the water samples."
entities = medical_ner_pipeline(text)

print(entities)

token = entities[0]
print(text[token["start"] : token["end"]])

⚠️ 重要提示

aggregation_strategy 参数定义了如何将标记预测分组为实体。有关详细解释，请参阅 Hugging Face文档。

以下是可用策略的总结：

• none：返回原始标记预测，不进行任何聚合。
• simple：将具有相同实体类型的相邻标记分组（例如，B-LOC 后跟 I-LOC）。
• first：对于基于单词的模型，如果一个单词内的标记具有不同的实体标签，则将第一个标记的标签分配给整个单词。
• average：对于基于单词的模型，此策略对一个单词内的标记分数进行平均，并应用得分最高的标签。
• max：对于基于单词的模型，将一个单词内得分最高的标记的实体标签分配给整个单词。

批量处理

对于大型数据集的高效处理，可使用 batch_size 参数进行适当的批量处理：

texts = [
    "Escherichia coli bacteria were found in the water samples.",
    "The study included specimens from Homo sapiens and Mus musculus.",
    "Saccharomyces cerevisiae is commonly used in biotechnology applications.",
    "The venom of the black mamba, Dendroaspis polylepis, is highly neurotoxic.",
    "Canis lupus familiaris has been domesticated for thousands of years.",
]

# 使用优化的批量大小进行高效批量处理
# 根据你的GPU内存调整batch_size（通常为8、16、32或64）
results = medical_ner_pipeline(texts, batch_size=8)

for i, entities in enumerate(results):
    print(f"文本 {i+1} 的实体:")
    for entity in entities:
        print(f"  - {entity['word']} ({entity['entity_group']}): {entity['score']:.4f}")

大型数据集处理

为了高效处理大型数据集：

from transformers.pipelines.pt_utils import KeyDataset
from datasets import Dataset
import pandas as pd

# 加载数据
# 从Hugging Face加载医疗数据集
from datasets import load_dataset

# 加载公共医疗数据集（使用子集进行测试）
medical_dataset = load_dataset("BI55/MedText", split="train[:100]")  # 加载前100个示例
data = pd.DataFrame({"text": medical_dataset["Completion"]})
dataset = Dataset.from_pandas(data)

# 根据你的硬件进行最佳批量处理
batch_size = 16  # 根据你的GPU内存进行调整
results = []

for out in medical_ner_pipeline(KeyDataset(dataset, "text"), batch_size=batch_size):
    results.extend(out)

print(f"使用批量处理处理了 {len(results)} 个文本")

性能优化

批量大小指南：

• CPU：从 batch_size=1-4 开始。
• 单GPU：根据GPU内存尝试 batch_size=8-32。
• 高端GPU：可以处理 batch_size=64 或更高。
• 监控GPU利用率，以找到适合你硬件的最佳批量大小。

内存考虑：

# 对于有限的GPU内存，使用较小的批次
medical_ner_pipeline = pipeline(
    model=model_name,
    aggregation_strategy="simple",
    device=0  # 指定GPU设备
)

# 使用节省内存的批量处理
for batch_start in range(0, len(texts), batch_size):
    batch = texts[batch_start:batch_start + batch_size]
    batch_results = medical_ner_pipeline(batch, batch_size=len(batch))
    results.extend(batch_results)

✨ 主要特性

• 高精度：针对生物医学实体识别进行了优化。
• 特定领域：在精心策划的LINNAEUS数据集上进行训练。
• 可用于生产：在临床基准上进行了验证。
• 易于集成：与Hugging Face Transformers生态系统兼容。

📦 安装指南

pip install transformers torch

💻 使用示例

基础用法

from transformers import pipeline

# 加载模型和分词器
# 模型地址: https://huggingface.co/OpenMed/OpenMed-NER-SpeciesDetect-PubMed-335M
model_name = "OpenMed/OpenMed-NER-SpeciesDetect-PubMed-335M"

# 创建管道
medical_ner_pipeline = pipeline(
    model=model_name,
    aggregation_strategy="simple"
)

# 示例用法
text = "Escherichia coli bacteria were found in the water samples."
entities = medical_ner_pipeline(text)

print(entities)

token = entities[0]
print(text[token["start"] : token["end"]])

高级用法

texts = [
    "Escherichia coli bacteria were found in the water samples.",
    "The study included specimens from Homo sapiens and Mus musculus.",
    "Saccharomyces cerevisiae is commonly used in biotechnology applications.",
    "The venom of the black mamba, Dendroaspis polylepis, is highly neurotoxic.",
    "Canis lupus familiaris has been domesticated for thousands of years.",
]

# 使用优化的批量大小进行高效批量处理
# 根据你的GPU内存调整batch_size（通常为8、16、32或64）
results = medical_ner_pipeline(texts, batch_size=8)

for i, entities in enumerate(results):
    print(f"文本 {i+1} 的实体:")
    for entity in entities:
        print(f"  - {entity['word']} ({entity['entity_group']}): {entity['score']:.4f}")

📚 详细文档

📋 模型概述

此模型是一款经过微调的最先进的Transformer模型，旨在为物种实体识别（物种和生物体名称）提供企业级精度。这个专门的模型擅长从临床文本、研究论文和医疗保健文档中识别和提取生物医学实体，能够实现诸如药物相互作用检测、从患者记录中提取药物信息、不良事件监测、药物发现的文献挖掘以及生物医学知识图谱构建等应用，为临床和研究应用提供可用于生产的可靠性。

🏷️ 支持的实体类型

该模型可以识别和分类以下生物医学实体：

• B-SPECIES
• I-SPECIES

📊 数据集

Linnaeus语料库是为生物医学文献中的物种名称识别和分类实体识别而设计的。

Linnaeus语料库是一个专门的生物医学NER数据集，专注于科学文献中的物种名称识别和生物体识别。该语料库以建立现代分类命名法的卡尔·林奈（Carl Linnaeus）命名，包含了归一化为NCBI分类标识符的物种提及注释。该数据集对于生物多样性信息学、生态研究和生物文献挖掘至关重要，因为在这些领域中准确的生物体识别是必不可少的。它支持开发用于分类学研究、物种分布研究和比较基因组学应用的文本挖掘系统。该语料库解决了在不同生物文本中识别生物体科学名称和常用名称的挑战。

📊 性能指标

当前模型性能

• F1分数：0.96
• 精确率：0.96
• 召回率：0.97
• 准确率：1.00

🏆 在LINNAEUS数据集上的比较性能

排名基于在该数据集上训练的所有模型的F1分数性能。

图：OpenMed（开源）与最新SOTA（闭源）在生物医学NER数据集上的性能比较。

📚 数据集信息

训练详情

🔬 模型架构

💡 使用场景

此模型特别适用于以下场景：

• 临床文本挖掘：从医疗记录中提取实体。
• 生物医学研究：处理科学文献。
• 药物发现：识别化合物和药物。
• 医疗保健分析：分析患者数据和结果。
• 学术研究：支持生物医学NLP研究。

🔧 技术细节

此模型是一款经过微调的Transformer模型，在精心策划的LINNAEUS数据集上进行训练，针对生物医学实体识别进行了优化。它能够在临床基准上达到企业级精度，并且与Hugging Face Transformers生态系统兼容，方便集成到各种应用中。在处理数据时，通过调整批量大小和优化内存使用，可以提高处理效率和性能。

📄 许可证

本项目采用Apache License 2.0许可协议。详情请参阅 LICENSE。

🤝 贡献

我们欢迎各种形式的贡献！无论你有新的想法、功能需求，还是想加入我们推进开源医疗AI的使命，我们都很乐意听取你的意见。

在Hugging Face 🤗 上关注 OpenMed Org，并点击“Watch”以获取我们的最新发布和开发动态。