许可证: 其他
许可证名称: qwen
语言:

• 泰语
• 英语
  库名称: transformers
  管道标签: 文本生成
  标签:
• openthaigpt
• qwen
• 推理

模型索引:

• 名称: openthaigpt-r1-32b-instruct
  结果:
  • 任务:
    类型: 推理
    数据集:
    名称: SkyThought
    类型: 数学推理
    指标:
    • 名称: AIME24-TH
      类型: 准确率
      值: 56.67
    • 名称: AIME24
      类型: 准确率
      值: 63.36
      来源:
      名称: 🇹🇭 OpenThaiGPT R1 基准测试
      URL: https://openthaigpt.aieat.or.th/

🇹🇭 OpenThaiGPT R1 32b

更多信息

🇹🇭 OpenThaiGPT R1 32b 是一款先进的320亿参数泰语推理模型，其性能超越了DeepSeek R1 70b和Typhoon R1 70b等更大规模的模型，而体积却不到它们的一半。该模型在泰语数学、逻辑和代码推理等复杂任务中表现出色。

亮点

• 顶尖的泰语推理模型，在数学和逻辑推理任务中超越更大规模的模型
• 显式推理能力，能够展示逐步的思考过程
• 显著更小的体积（32b），同时性能优于70b模型
• 专为泰语推理优化，包括复杂的数学和逻辑问题
• 在泰语和英语代码推理中表现优异

基准测试结果

推荐系统提示

<无系统提示>  

模型技术报告

https://arxiv.org/abs/2504.01789

如果OpenThaiGPT对您的工作有所帮助，请考虑引用如下内容：

@misc{yuenyong2025openthaigpt16r1thaicentric,  
      title={OpenThaiGPT 1.6 and R1: Thai-Centric Open Source and Reasoning Large Language Models},   
      author={Sumeth Yuenyong and Thodsaporn Chay-intr and Kobkrit Viriyayudhakorn},  
      year={2025},  
      eprint={2504.01789},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL},  
      url={https://arxiv.org/abs/2504.01789},   
}  

使用方法

在线网页界面

https://chindax.iapp.co.th

Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer  

model_name = "openthaigpt/openthaigpt-r1-32b-instruct"  

model = AutoModelForCausalLM.from_pretrained(  
    model_name,  
    torch_dtype="auto",  
    device_map="auto"  
)  
tokenizer = AutoTokenizer.from_pretrained(model_name)  

prompt = "จงหาพื้นที่ของวงกลมที่มีรัศมี 7 หน่วย"  
messages = [  
    {"role": "user", "content": prompt}  
]  
text = tokenizer.apply_chat_template(  
    messages,  
    tokenize=False,  
    add_generation_prompt=True  
)  
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)  

generated_ids = model.generate(  
    **model_inputs,  
    max_new_tokens=16384,  
    temperature=0.6  
)  
generated_ids = [  
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)  
]  

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]  

vLLM

1. 安装VLLM (https://github.com/vllm-project/vllm)

2. 运行服务器

vllm serve openthaigpt/openthaigpt-r1-32b --tensor-parallel-size 2  

• 注意：将--tensor-parallel-size 2更改为可用的GPU数量。

3. 运行推理（CURL示例）

curl -X POST 'http://127.0.0.1:8000/v1/chat/completions' \  
-H 'Content-Type: application/json' \  
-d '{  
  "model": "openthaigpt/openthaigpt-r1-32b-instruct",  
  "messages": [  
    {  
      "role": "user",  
      "content": "จงหาพื้นที่ของวงกลมที่มีรัศมี 7 หน่วย"  
    }  
  ],  
  "max_tokens": 16384,  
  "temperature": 0.6,  
  "top_p": 0.95,  
  "top_k": 40  
}'  

GPU内存需求

聊天模板

{% if not add_generation_prompt is defined %}{% set add_generation_prompt = false %}{% endif %}{% set ns = namespace(is_first=false, is_tool=false, is_output_first=true, system_prompt='') %}{%- for message in messages %}{%- if message['role'] == 'system' %}{% set ns.system_prompt = message['content'] %}{%- endif %}{%- endfor %}{{bos_token}}{{ns.system_prompt}}{%- for message in messages %}{%- if message['role'] == 'user' %}{%- set ns.is_tool = false -%}{{' ' + message['content']}}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is none %}{%- set ns.is_tool = false -%}{%- for tool in message['tool_calls']%}{%- if not ns.is_first %}{{' ' + tool['type'] + ' ' + tool['function']['name'] + '\\n' + '```json' + '\\n' + tool['function']['arguments'] + '\\n' + '```' + ' '}}{%- set ns.is_first = true -%}{%- else %}{{'\\n' + ' ' + tool['type'] + ' ' + tool['function']['name'] + '\\n' + '```json' + '\\n' + tool['function']['arguments'] + '\\n' + '```' + ' '}}{{' '}}{%- endif %}{%- endfor %}{%- endif %}{%- if message['role'] == 'assistant' and message['content'] is not none %}{%- if ns.is_tool %}{{' ' + message['content'] + ''}}{%- set ns.is_tool = false -%}{%- else %}{% set content = message['content'] %}{% if '</think>' in content %}{% set content = content.split('</think>')[-1] %}{% endif %}{{' ' + content + ''}}{%- endif %}{%- endif %}{%- if message['role'] == 'tool' %}{%- set ns.is_tool = true -%}{%- if ns.is_output_first %}{{' ' + message['content'] + ' '}}{%- set ns.is_output_first = false %}{%- else %}{{'\\n ' + message['content'] + ' '}}{%- endif %}{%- endif %}{%- endfor -%}{% if ns.is_tool %}{{' '}}{% endif %}{% if add_generation_prompt and not ns.is_tool %}{{' '}}{% endif %}  

许可证

• 本模型在特定条款下可用于研究和商业用途。更多信息请参阅LICENSE文件。

支持

• 官方网站: https://openthaigpt.aieat.or.th
• Facebook页面: https://web.facebook.com/groups/openthaigpt
• Discord讨论和支持服务器 点击此处
• 电子邮件: kobkrit@iapp.co.th

OpenThaiGPT团队

• Kobkrit Viriyayudhakorn (kobkrit@iapp.co.th / kobkrit@aieat.or.th)
• Sumeth Yuenyong (sumeth.yue@mahidol.edu)
• Thodsaporn Chay-intr (thodsaporn@iapp.co.th)

赞助商

• 获得Siam AI Corporation有限公司提供的Nvidia H100 x 8 GPU支持: https://siam.ai/

• 获得国家竞争力提升基金管理委员会（B.P.K.）与IAPP Technology有限公司合作的研究基金支持，泰国人工智能企业协会负责项目实施。

免责声明：提供的响应不保证准确性。