许可证: mit
语言:

• 日语

japanese-sexual-moderation-v2是基于studio-ousia/luke-japanese-large-lite进行微调的模型。
用于对短文是否包含性内容进行评分。

该模型通过回归学习，输出的评分大致在0-1范围内，但可能出现负值或超过1的情况。
未针对长文本进行学习，输入内容建议按换行符分割处理。

评分区间说明：
0.0-0.2: 完全不涉及性内容
0.2-0.4: 几乎不含性相关内容
0.4-0.6: 可能包含性暗示内容
0.6-0.8: 明确包含性相关内容
0.8-1.0: 高度露骨的性内容

使用方法

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

model_id = "oshizo/japanese-sexual-moderation-v2"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForSequenceClassification.from_pretrained(
    model_id,
    problem_type="regression"
)

texts = [
    "富士山是日本最高的山。",
    "居然忍耐到这种程度...真是辛苦了呢",
    "我走近快要倒下的京子，试图托起她时将手臂穿过她的大腿下方。",
]

with torch.no_grad():
    encoding = tokenizer(texts, padding=True, max_length=64, return_tensors="pt")
    scores = model(**encoding).logits

# 输出示例:
# tensor([[-0.0045],
#         [ 0.2954],
#         [ 0.4391]])