license: apache-2.0 pipeline_tag: text-generation

Typhoon-0219：泰语大语言模型（指令版）

Typhoon-0219 是一款基于Typhoon 7B开发的指令微调泰语🇹🇭大语言模型，参数量达70亿。作为第二代指令模型，它为opentyphoon.ai提供服务。该模型在超过100万条多样化指令数据集（类似OpenHermes）上训练完成，支持系统提示词功能。

模型说明

• 模型类型：基于Mistral架构的70亿参数指令解码模型
• 环境要求：transformers 4.38.0或更高版本
• 主要语言：泰语🇹🇭与英语🇬🇧
• 许可协议：Apache-2.0

使用场景与限制

本模型为指令型模型，仍处于持续优化阶段。虽已内置部分安全防护机制，但可能仍会生成不准确、存在偏见或不当的回复。建议开发者根据实际应用场景进行风险评估。

生产部署

推荐使用vLLM项目的OpenAI兼容API服务：

python -m vllm.entrypoints.openai.api_server --port 8080 --model scb10x/typhoon-7b-instruct-02-19-2024 --max-num-batched-tokens 8192 --max-model-len 8192 --served-model-name typhoon-instruct

对话模板

采用chatml对话模板：

{% for message in messages %}{{'<|im_start|>' + message['role'] + '\n' + message['content']}}{% if (loop.last and add_generation_prompt) or not loop.last %}{{ '<|im_end|>' + '\n'}}{% endif %}{% endfor %}
{% if add_generation_prompt and messages[-1]['role'] != 'assistant' %}{{ '<|im_start|>assistant\n' }}{% endif %}

关注我们

https://twitter.com/opentyphoon

技术支持

https://discord.gg/us5gAYmrxw

SCB10X人工智能团队

• Kunat Pipatanakul, Potsawee Manakul, Sittipong Sripaisarnmongkol, Pathomporn Chokchainant, Kasima Tharnpipitchai
• 若Typhoon对您的研究有所帮助，请引用：

@article{pipatanakul2023typhoon,
    title={Typhoon：泰语大语言模型}, 
    author={Kunat Pipatanakul and Phatrasek Jirabovonvisut and Potsawee Manakul and Sittipong Sripaisarnmongkol and Ruangsak Patomwong and Pathomporn Chokchainant and Kasima Tharnpipitchai},
    year={2023},
    journal={arXiv预印本 arXiv:2312.13951},
    url={https://arxiv.org/abs/2312.13951}
}

联系我们

• 商务合作与常规咨询：kasima@scb10x.com、pathomporn@scb10x.com
• 技术咨询：kunat@scb10x.com