许可证: llama3 语言:

• 英文
• 泰语 任务标签: 文本生成 标签:
• 指令
• 聊天

Llama-3-Typhoon-1.5-8B: 泰语大语言模型（指令版）

Llama-3-Typhoon-1.5-8B-instruct 是一个拥有80亿参数的指令调优泰语🇹🇭大语言模型，基于Llama3-8B架构开发。

发布详情请参阅我们的博客。 *为认可Meta创建基础模型的贡献并遵守许可证要求，我们特地在模型名称中保留"llama-3"标识。

模型描述

• 模型类型: 基于Llama架构的80亿参数指令解码器模型
• 环境要求: transformers 4.38.0或更高版本
• 主要语言: 泰语🇹🇭与英语🇬🇧
• 许可证: Llama 3社区许可证

性能表现

使用示例

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

model_id = "scb10x/llama-3-typhoon-v1.5-8b-instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

messages = [
    {"role": "system", "content": "你是一个总是说泰语的助手"},
    {"role": "user", "content": "请提供烤鸡食谱"},
]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.4,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

对话模板

我们采用llama3对话模板：

{% set loop_messages = messages %}{% for message in loop_messages %}{% set content = '<|start_header_id|>' + message['role'] + '<|end_header_id|>\n\n'+ message['content'] | trim + '<|eot_id|>' %}{% if loop.index0 == 0 %}{% set content = bos_token + content %}{% endif %}{{ content }}{% endfor %}{% if add_generation_prompt %}{{ '<|start_header_id|>assistant<|end_header_id|>\n\n' }}{% endif %}

使用场景与限制

本模型为指令模型，仍处于持续开发阶段。虽然设置了安全护栏，但仍可能生成不准确、有偏见或不当的回复。建议开发者根据具体应用场景评估风险。

关注我们

https://twitter.com/opentyphoon

技术支持

https://discord.gg/us5gAYmrxw

SCB10X AI团队

• Kunat Pipatanakul, Potsawee Manakul, Sittipong Sripaisarnmongkol, Natapong Nitarach, Pathomporn Chokchainant, Kasima Tharnpipitchai
• 若Typhoon-8B对您的研究有所帮助，请引用：

@article{pipatanakul2023typhoon,
    title={Typhoon: 泰语大语言模型}, 
    author={Kunat Pipatanakul and Phatrasek Jirabovonvisut and Potsawee Manakul and Sittipong Sripaisarnmongkol and Ruangsak Patomwong and Pathomporn Chokchainant and Kasima Tharnpipitchai},
    year={2023},
    journal={arXiv预印本 arXiv:2312.13951},
    url={https://arxiv.org/abs/2312.13951}
}

联系我们

• 常规与合作事宜: kasima@scb10x.com, pathomporn@scb10x.com
• 技术问题: kunat@scb10x.com