🚀 NMIXX-BGE-M3

本仓库包含一个基于bge-m3的SentenceTransformer模型，该模型在nmixx-fin/NMIXX_train数据集上通过三元组损失设置进行了微调。它能够为韩语金融文本生成高质量的句子嵌入，具备多语言处理能力，针对金融领域的语义相似度任务进行了优化。

🚀 快速开始

安装依赖

确保你已经安装了必要的库：

pip install transformers torch

使用示例

from transformers import AutoTokenizer, AutoModel
import torch
import torch.nn.functional as F

# 1. 从Hugging Face Hub加载分词器和模型
repo_name = "nmixx-fin/nmixx-bge-m3"
tokenizer = AutoTokenizer.from_pretrained(repo_name)
model = AutoModel.from_pretrained(repo_name)

# 2. 若有可用的GPU则将模型移至GPU
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
model.eval()

# 3. 准备输入句子
sentences = [
    "이 모델은 한국 금융 도메인에 특화된 다국어 임베딩을 제공합니다.",
    "NMIXX 데이터셋으로 fine-tuning된 multilingual sentence transformer입니다."
]

# 4. 分词
encoded_input = tokenizer(
    sentences,
    padding=True,
    truncation=True,
    max_length=8192,  # BGE-M3支持更长的序列
    return_tensors="pt"
)
input_ids = encoded_input["input_ids"].to(device)
attention_mask = encoded_input["attention_mask"].to(device)

# 5. 前向传播（词嵌入）
with torch.no_grad():
    model_output = model(input_ids=input_ids, attention_mask=attention_mask)

# 6. CLS池化（BGE模型使用CLS标记）
sentence_embeddings = model_output[0][:, 0]  # 使用CLS标记（第一个标记）

# 7. L2归一化
sentence_embeddings = F.normalize(sentence_embeddings, p=2, dim=1)

print("Sentence embeddings shape:", sentence_embeddings.shape)
print(sentence_embeddings.cpu())

✨ 主要特性

• 多语言支持：基于BGE-M3，支持韩语和英语。
• 扩展序列长度：支持长达8192个标记。
• 韩语金融领域：专门针对韩语金融文本进行微调。
• 高性能：针对金融领域的语义相似度任务进行了优化。

📚 详细文档

模型详情

⚠️ 重要提示

该模型仅在金融语义文本相似度任务上表现良好。

论文即将发布！

📄 许可证

本项目采用Apache-2.0许可证。