许可证：apache-2.0
语言：

• 英文
  任务标签：填充掩码
  推理：不支持

Monarch Mixer-BERT

本文《使用LoCo和M2-BERT进行长上下文检索模型的基准测试与构建》中提到的80M参数M2-BERT-2k模型检查点。

访问我们的GitHub获取下载与微调指南！

使用方法

可通过Hugging Face的AutoModel加载此模型：

from transformers import AutoModelForMaskedLM, BertConfig  
config = BertConfig.from_pretrained("hazyresearch/M2-BERT-2K-Retrieval-Encoder-V1")  
model = AutoModelForMaskedLM.from_pretrained("hazyresearch/M2-BERT-2k-Retrieval-Encoder-V1", config=config, trust_remote_code=True)  

该模型使用Hugging Face的bert-base-uncased分词器：

from transformers import BertTokenizer  
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')  

功能说明

本模型生成用于检索的嵌入向量，维度为768：

from transformers import AutoTokenizer, AutoModelForMaskedLM, BertConfig  

max_seq_length = 2048  
测试文本 = "每天早晨，我都会泡一杯咖啡开始新的一天。"  
config = BertConfig.from_pretrained("hazyresearch/M2-BERT-2K-Retrieval-Encoder-V1")  
model = AutoModelForMaskedLM.from_pretrained("hazyresearch/M2-BERT-2k-Retrieval-Encoder-V1", config=config, trust_remote_code=True)  

tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased", model_max_length=max_seq_length)  
input_ids = tokenizer([测试文本], return_tensors="pt", padding="max_length", return_token_type_ids=False, truncation=True, max_length=max_seq_length)  

outputs = model(**input_ids)  
embeddings = outputs['sentence_embedding']  

远程代码说明

加载此模型需在from_pretrained方法中设置trust_remote_code=True，因为我们使用了自定义PyTorch代码（详见GitHub）。建议通过revision参数指定代码的确切git提交版本，例如：

mlm = AutoModelForMaskedLM.from_pretrained(  
   "hazyresearch/M2-BERT-2k-Retrieval-Encoder-V1",  
   config=config,  
   trust_remote_code=True,  
)  

配置说明

注意：use_flash_mm默认为关闭状态。当前版本不支持FlashMM功能。