🚀 🇹🇭 OpenThaiGPT R1 32b

🇹🇭 OpenThaiGPT R1 32b 是一款先进的 320 亿参数泰语推理模型。尽管其规模不到 DeepSeek R1 70b 和 Typhoon R1 70b 等大模型的一半，但在性能上却更胜一筹。该模型在复杂推理任务中表现出色，能够处理泰语环境下的数学、逻辑和代码推理问题。

🚀 快速开始

在线网页界面

你可以通过 此链接 访问在线网页界面使用该模型。

Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "openthaigpt/openthaigpt-r1-32b-instruct"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "จงหาพื้นที่ของวงกลมที่มีรัศมี 7 หน่วย"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=16384,
    temperature=0.6
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

vLLM

1. 安装 VLLM（安装链接）。
2. 运行服务器：

vllm serve openthaigpt/openthaigpt-r1-32b --tensor-parallel-size 2

• 注意：将 --tensor-parallel-size 2 更改为可用的 GPU 卡数量。

3. 运行推理（CURL 示例）：

curl -X POST 'http://127.0.0.1:8000/v1/chat/completions' \
-H 'Content-Type: application/json' \
-d '{
  "model": "openthaigpt/openthaigpt-r1-32b-instruct",
  "messages": [
    {
      "role": "user",
      "content": "จงหาพื้นที่ของวงกลมที่มีรัศมี 7 หน่วย"
    }
  ],
  "max_tokens": 16384,
  "temperature": 0.6,
  "top_p": 0.95,
  "top_k": 40
}'

✨ 主要特性

• 最先进的泰语推理模型：在数学和逻辑推理任务上超越了更大规模的模型。
• 显式推理能力：能够展示逐步的思维过程。
• 显著的小模型优势：参数规模仅 320 亿，却能胜过 700 亿参数的模型。
• 专注泰语推理：擅长处理复杂的数学和逻辑问题。
• 代码推理高性能：在泰语和英语代码推理方面均表现出色。

📊 基准测试结果

📦 安装指南

GPU 内存要求

📚 详细文档

推荐系统提示

<No system prompt>

模型技术报告

你可以通过 此链接 查看模型技术报告。

引用方式

如果你在工作中使用了 OpenThaiGPT，请考虑按以下方式引用：

@misc{yuenyong2025openthaigpt16r1thaicentric,
      title={OpenThaiGPT 1.6 and R1: Thai-Centric Open Source and Reasoning Large Language Models}, 
      author={Sumeth Yuenyong and Thodsaporn Chay-intr and Kobkrit Viriyayudhakorn},
      year={2025},
      eprint={2504.01789},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2504.01789}, 
}

聊天模板

{% if not add_generation_prompt is defined %}{% set add_generation_prompt = false %}{% endif %}{% set ns = namespace(is_first=false, is_tool=false, is_output_first=true, system_prompt='') %}{%- for message in messages %}{%- if message['role'] == 'system' %}{% set ns.system_prompt = message['content'] %}{%- endif %}{%- endfor %}{{bos_token}}{{ns.system_prompt}}{%- for message in messages %}{%- if message['role'] == 'user' %}{%- set ns.is_tool = false -%}{{'<｜User｜>' + message['content']}}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is none %}{%- set ns.is_tool = false -%}{%- for tool in message['tool_calls']%}{%- if not ns.is_first %}{{'<｜Assistant｜><｜tool▁calls▁begin｜><｜tool▁call▁begin｜>' + tool['type'] + '<｜tool▁sep｜>' + tool['function']['name'] + '\\n' + '```json' + '\\n' + tool['function']['arguments'] + '\\n' + '```' + '<｜tool▁call▁end｜>'}}{%- set ns.is_first = true -%}{%- else %}{{'\\n' + '<｜tool▁call▁begin｜>' + tool['type'] + '<｜tool▁sep｜>' + tool['function']['name'] + '\\n' + '```json' + '\\n' + tool['function']['arguments'] + '\\n' + '```' + '<｜tool▁call▁end｜>'}}{{'<｜tool▁calls▁end｜><｜end▁of▁sentence｜>'}}{%- endif %}{%- endfor %}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is not none %}{%- if ns.is_tool %}{{'<｜tool▁outputs▁end｜>' + message['content'] + '<｜end▁of▁sentence｜>'}}{%- set ns.is_tool = false -%}{%- else %}{% set content = message['content'] %}{% if '</think>' in content %}{% set content = content.split('</think>')[-1] %}{% endif %}{{'<｜Assistant｜>' + content + '<｜end▁of▁sentence｜>'}}{%- endif %}{%- endif %}{%- if message['role'] == 'tool' %}{%- set ns.is_tool = true -%}{%- if ns.is_output_first %}{{'<｜tool▁outputs▁begin｜><｜tool▁output▁begin｜>' + message['content'] + '<｜tool▁output▁end｜>'}}{%- set ns.is_output_first = false %}{%- else %}{{'\\n<｜tool▁output▁begin｜>' + message['content'] + '<｜tool▁output▁end｜>'}}{%- endif %}{%- endif %}{%- endfor -%}{% if ns.is_tool %}{{'<｜tool▁outputs▁end｜>'}}{% endif %}{% if add_generation_prompt and not ns.is_tool %}{{'<｜Assistant｜>'}}{% endif %}

📄 许可证

本模型可在指定条款下用于 研究 和 商业用途。更多信息请查看 LICENSE 文件。

👨‍💻 支持与反馈

• 官方网站：https://openthaigpt.aieat.or.th
• Facebook 页面：https://web.facebook.com/groups/openthaigpt
• Discord 服务器：点击加入
• 邮箱：kobkrit@iapp.co.th

OpenThaiGPT 团队

• Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th / kobkrit@aieat.or.th)
• Sumeth Yuenyong (sumeth.yue@mahidol.edu)
• Thodsaporn Chay - intr (thodsaporn@iapp.co.th)

赞助商

• 获得了暹罗 AI 有限公司提供的 8 块 Nvidia H100 GPU 支持：https://siam.ai/
• 获得了国家竞争力提升基金管理办公室与 iApp Technology Co., Ltd. 联合提供的研究资助，由泰国发明企业家协会负责项目实施。

免责声明：不保证所提供的回复一定准确。