library_name: transformers
tags: [物理学, 自然语言处理, 嵌入模型, 句子转换器]

PhysBERT模型卡片

PhysBERT是专为物理学设计的文本嵌入模型，旨在提升物理学文献的信息检索、引文分类和聚类效果。该模型基于120万篇物理论文训练，在物理学特定任务上表现优于通用模型。

模型描述

PhysBERT是基于BERT架构的物理学文本嵌入模型，采用SimCSE方法进行微调以优化物理学领域性能。该模型能高效实现物理学文献的检索、分类和分析，在领域特定NLP任务中具有更高的相关性和准确性。小写版本可访问此处。

• 开发团队: Thorsten Hellert, João Montenegro, Andrea Pollastro
• 资助机构: 美国能源部、劳伦斯伯克利国家实验室
• 模型类型: 文本嵌入模型（基于BERT）
• 支持语言: 英语
• 论文: 《PhysBERT：面向物理学科学文献的文本嵌入模型》

训练数据

模型训练使用arXiv物理学出版物构建的40GB语料库，包含120万篇经过科学准确性校验的文档。

训练流程

模型先通过掩码语言建模（MLM）进行预训练，再采用SimCSE方法微调生成句子嵌入。

使用示例

from transformers import AutoTokenizer, AutoModel  
import torch  

# 加载PhysBERT分词器和模型  
tokenizer = AutoTokenizer.from_pretrained("thellert/physbert_cased")  
model = AutoModel.from_pretrained("thellert/physbert_cased")  

# 待嵌入的示例文本  
sample_text = "电子同时具有粒子和波动特性。"  

# 对输入文本进行分词并输入模型  
inputs = tokenizer(sample_text, return_tensors="pt")  
outputs = model(**inputs)  

# 提取词元嵌入  
token_embeddings = outputs.last_hidden_state  
# 去除CLS和SEP标记后取均值获得句子嵌入  
token_embeddings = token_embeddings[:, 1:-1, :]  
sentence_embedding = token_embeddings.mean(dim=1)  

引用

若本工作对您有帮助，请考虑引用以下论文：

@article{10.1063/5.0238090,  
    author = {Hellert, Thorsten and Montenegro, João and Pollastro, Andrea},  
    title = "{PhysBERT: A text embedding model for physics scientific literature}",  
    journal = {APL Machine Learning},  
    volume = {2},  
    number = {4},  
    pages = {046105},  
    year = {2024},  
    month = {10},  
    issn = {2770-9019},  
    doi = {10.1063/5.0238090},  
    url = {https://doi.org/10.1063/5.0238090},  
    eprint = {https://pubs.aip.org/aip/aml/article-pdf/doi/10.1063/5.0238090/20227307/046105\_1\_5.0238090.pdf},  
}  

模型卡片作者

Thorsten Hellert, João Montenegro, Andrea Pollastro

模型卡片联系人

Thorsten Hellert, 劳伦斯伯克利国家实验室, thellert@lbl.gov