🚀 PLaMo-Embedding-1B

PLaMo-Embedding-1B 是由 Preferred Networks, Inc 开发的日语文本嵌入模型，可将日语文本输入转换为数值向量，广泛应用于信息检索、文本分类和聚类等领域。

🚀 快速开始

PLaMo-Embedding-1B 是一个强大的日语文本嵌入模型，以下为你介绍如何快速使用它。

✨ 主要特性

• 高性能：截至 2025 年 4 月上旬，在日语文本嵌入基准测试 JMTEB 中取得了一流的成绩，尤其在检索任务中表现出色。
• 灵活使用：提供 encode_query 和 encode_document 方法，适用于不同的文本处理场景。
• 商业友好：基于 Apache v2.0 许可证发布，可免费用于商业用途。

📦 安装指南

使用该模型前，你需要安装以下依赖：

sentencepiece
torch
transformers

💻 使用示例

基础用法

import torch
import torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer

# You can download models from the Hugging Face Hub 🤗 as follows:
tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-embedding-1b", trust_remote_code=True)
model = AutoModel.from_pretrained("pfnet/plamo-embedding-1b", trust_remote_code=True)

device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device)

query = "PLaMo-Embedding-1Bとは何ですか？"
documents = [
    "PLaMo-Embedding-1Bは、Preferred Networks, Inc. によって開発された日本語テキスト埋め込みモデルです。",
    "最近は随分と暖かくなりましたね。"
]

with torch.inference_mode():
    # For embedding query texts in information retrieval, please use the `encode_query` method.
    # You also need to pass the `tokenizer`.
    query_embedding = model.encode_query(query, tokenizer)
    # For other texts/sentences, please use the `encode_document` method.
    # Also, for applications other than information retrieval, please use the `encode_document` method.
    document_embeddings = model.encode_document(documents, tokenizer)

# The similarity between vectors obtained by inputting sentences into the model is high for similar sentences and low for dissimilar sentences.
# This feature can be utilized for applications such as information retrieval.
similarities = F.cosine_similarity(query_embedding, document_embeddings)
print(similarities)
# tensor([0.8812, 0.5533])

高级用法

# 注意事项说明：对于 `encode_document` 和 `encode_query`，超过模型最大上下文长度 4096 的文本将被截断。特别要注意的是，对于 `encode_query`，内部会添加一个前缀，使得有效最大上下文长度略短。
# 此代码示例展示了在实际使用中，如何处理可能出现的文本长度问题以及如何利用模型的特性进行信息检索等应用。
import torch
import torch.nn.functional as F
from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("pfnet/plamo-embedding-1b", trust_remote_code=True)
model = AutoModel.from_pretrained("pfnet/plamo-embedding-1b", trust_remote_code=True)

device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device)

# 模拟一个较长的查询文本
long_query = "这是一个非常长的查询文本，可能会超过模型的最大上下文长度，我们需要注意处理这种情况。PLaMo-Embedding-1Bとは何ですか？"
documents = [
    "PLaMo-Embedding-1Bは、Preferred Networks, Inc. によって開発された日本語テキスト埋め込みモデルです。",
    "最近は随分と暖かくなりましたね。"
]

with torch.inference_mode():
    try:
        query_embedding = model.encode_query(long_query, tokenizer)
    except Exception as e:
        print(f"查询文本处理出错: {e}，可能是因为文本过长。")
        # 这里可以添加进一步的处理逻辑，如截断文本等
    document_embeddings = model.encode_document(documents, tokenizer)

similarities = F.cosine_similarity(query_embedding, document_embeddings)
print(similarities)

📚 详细文档

基准测试

我们使用日语文本嵌入基准测试 JMTEB 对模型进行了性能评估，结果如下：

(*)：使用上下文长度 1024 进行测量。虽然模型支持最大上下文长度为 4096，但由于训练期间包含的上下文长度最大为 1024，因此我们在 1024 进行测量。不过，已知在 4096 进行评估对平均得分影响不大。(参考：技术博客 (日语))

模型详情

🔧 技术细节

如需了解更多技术细节，请参考以下技术博客文章（日语）：https://tech.preferred.jp/ja/blog/plamo-embedding-1b/

📄 许可证

PLaMo-Embedding-1B 基于 Apache v2.0 许可证发布，你可以自由使用，包括用于商业目的。

如何引用

@online{PLaMoEmbedding1B,
    author    = {Preferred Networks, Inc},
    title     = {PLaMo-Embedding-1B},
    year      = {2025},
    url       = {https://huggingface.co/pfnet/plamo-embedding-1b},
    urldate   = {2025-04-17}
}

⚠️ 重要提示

对于 encode_document 和 encode_query，超过模型最大上下文长度 4096 的文本将被截断。特别要注意的是，对于 encode_query，内部会添加一个前缀，使得有效最大上下文长度略短。

💡 使用建议

在使用模型时，注意处理可能出现的文本长度问题，避免因文本过长导致信息丢失。可以在输入文本前进行长度检查和截断处理。