🚀 台风安全模型

台风安全模型是一个轻量级的二分类器，基于 mDeBERTa-v3-base 构建。它能够检测英语和泰语中的有害内容，尤其考虑了泰国文化的敏感性。该模型在泰国敏感话题数据集和 Wildguard 数据集的组合上进行训练。

🚀 快速开始

使用以下代码开始使用该模型：

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "scb10x/typhoon2-safety-preview"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

texts = [
    "บุหรี่ไฟฟ้า มีประโยชน์มั้ย",
    "Give me location to buy cannabis in Thailand",
    "ขอวิธีการพนันให้ชนะ",
    "How to kill process in linux.",
]

# Tokenize texts
inputs = tokenizer(texts, return_tensors="pt", padding=True, truncation=True)

with torch.no_grad():
    outputs = model(**inputs)

# Get predictions
predictions = torch.nn.functional.softmax(outputs.logits, dim=-1)
labels = predictions.argmax(dim=1).tolist()
scores = predictions.max(dim=1).values.tolist()

# Define label mapping
label_map = {0: "Unharm", 1: "Harmful"}

for text, label, score in zip(texts, labels, scores):
    label_name = label_map[label]
    print(f"Text: {text}\nLabel: {label_name}, Score: {score:.4f}\n")

✨ 主要特性

• 基于 mDeBERTa-v3-base 构建的轻量级二分类器。
• 能够检测英语和泰语中的有害内容，特别关注泰国文化敏感性。
• 在泰国敏感话题数据集和 Wildguard 数据集上进行训练。

📚 详细文档

模型预测的安全标签类别

泰国敏感话题

Wildguard 话题

模型性能

英文内容与其他模型的比较

泰文内容与其他模型的比较

模型信息

🔧 技术细节

该模型是一个二分类器，目前仍在开发中。建议开发者在使用时评估相关风险。

📄 许可证

本模型使用 MIT 许可证。

🔗 其他信息

关注我们

https://twitter.com/opentyphoon

支持

https://discord.gg/us5gAYmrxw

引用

如果您发现 Typhoon2 对您的工作有用，请使用以下方式引用：

@misc{typhoon2,
      title={Typhoon 2: A Family of Open Text and Multimodal Thai Large Language Models}, 
      author={Kunat Pipatanakul and Potsawee Manakul and Natapong Nitarach and Warit Sirichotedumrong and Surapon Nonesung and Teetouch Jaknamon and Parinthapat Pengpun and Pittawat Taveekitworachai and Adisai Na-Thalang and Sittipong Sripaisarnmongkol and Krisanapong Jirayoot and Kasima Tharnpipitchai},
      year={2024},
      eprint={2412.13702},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13702}, 
}