license: llama2 language:

• 泰语
• 英语 library_name: transformers pipeline_tag: 文本生成 tags:
• openthaigpt
• llama

🇹🇭 OpenThaiGPT 13b 1.0.0

更多信息

🇹🇭 OpenThaiGPT 13b 1.0.0版本是2024年4月8日发布的基于LLaMA v2的130亿参数泰语聊天模型。该模型专门针对泰语指令进行了微调，并通过在大型语言模型（LLM）词典中整合超过10,000个最常用泰语词汇，显著提升了响应速度。

亮点

• 领先的泰语LLM，在与所有其他开源泰语LLM的比较中，多项泰语考试平均得分最高，树立了新标杆。
• 首个700亿参数泰语开源LLM，在泰语考试中得分超过OpenAI GPT 3.5、Google Gemini和Claude 3 Haiku。
• 支持多轮扩展对话。
• 支持**检索增强生成（RAG）**用例，以丰富响应生成。
• 生成速度提升十倍，得益于模型词典中新增的10,000个常用泰语词汇。
• 基于超过650亿泰语词汇进行预训练，并精心微调了超过100万条泰语指令示例。
• 能够理解和处理最多4096个泰语单词的输入上下文，支持详细和复杂的指令。

OpenThaiGPT评估基准

**请查看OTG 13b (2024年4月)以获取本模型的评估结果。

（更新于：2024年4月7日）

外部评估（Float16.cloud）的M3Exam基准

许可证

源代码：Apache Software License 2.0许可证。
权重：研究和商业用途。

赞助商

支持

• 官方网站：https://openthaigpt.aieat.or.th
• Facebook页面：https://web.facebook.com/groups/openthaigpt
• 讨论和支持的Discord服务器这里
• 电子邮件：kobkrit@aieat.or.th

提示格式

提示格式基于Llama2，并进行了小幅修改（添加“###”以指定上下文部分）

<s>[INST] <<SYS>
{system_prompt}
<</SYS>>

{human_turn1}###{context_turn1} [/INST]{assistant_turn1}</s><s>{human_turn2}###{context_turn2} [/INST] ...

系统提示：

你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด

示例

单轮对话示例

<s>[INST] <<SYS>
你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]

带上下文的单轮对话（RAG）示例

<s>[INST] <<SYS>
你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

กรุงเทพมีพื้นที่เท่าไร่###กรุงเทพมหานคร เป็นเมืองหลวง นครและมหานครที่มีประชากรมากที่สุดของประเทศไทย กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม. มีประชากรตามทะเบียนราษฎรกว่า 8 ล้านคน [/INST]

多轮对话示例

第一轮

<s>[INST] <<SYS>
你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]

第二轮

<s>[INST] <<SYS>
你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]

第三轮

<s>[INST] <<SYS>
你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]

第四轮

<s>[INST] <<SYS>
你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]
ตำไทยเป็นเมนูที่ใครๆ ก็คุ้นเคย ด้วยรสชาติที่กลมกล่อม หวาน เปรี้ยว เค็ม เผ็ด ครบรส วันนี้เราจะมาทำส้มตำด้วยกันค่ะ สิ่งแรกที่ต้องมีคือเครื่องปรุงดังนี้
- มะละกอดิบ 1 ลูก
- กุ้งแห้ง 1/2 ถ้วย
- กระเทียม 3 กลีบ
- พริกขี้หนู 3 เม็ด
- น้ำตาลปี๊บ 1 ช้อนโต๊ะ
- น้ำปลา 2 ช้อนโต๊ะ
- มะนาว 1 ลูก
- งาขาวคั่ว 1/4 ถ้วย

วิธีทำมีดังนี้ค่ะ
1. เริ่มจากล้างมะละกอให้สะอาด แล้วใช้มีดปอกเปลือก เอาไส้ออก หั่นเป็นเส้นบางๆ เตรียมไว้
2. ตำกุ้งแห้งให้ละเอียด แล้วตักขึ้นพักไว้
3. ใช้ครกหินหรือเครื่องปั่น บดพริกขี้หนูกับกระเทียมให้ละเอียด
4. ใส่กุ้งแห้งที่ตำแล้วลงไปผสม ตามด้วยน้ำตาลปี๊บ น้ำปลา มะนาว และเส้นมะละกอ คลุกเคล้าให้เข้ากัน
5. ชิมรสให้ได้รสหวาน เปรี้ยว เค็ม เผ็ด จากนั้นตักขึ้นเสิร์ฟพร้อมผักสด อาทิ กะหล่ำปลี ถั่วงอก แครอท ผักบุ้ง</s><s>ขอบคุณครับ [/INST]

带上下文的多轮对话（RAG）示例

<s>[INST] <<SYS>
你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด
<</SYS>>

กรุงเทพมีพื้นที่เท่าไร่###กรุงเทพมหานคร เป็นเมืองหลวง นครและมหานครที่มีประชากรมากที่สุดของประเทศไทย กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม. มีประชากรตามทะเบียนราษฎรกว่า 8 ล้านคน [/INST]
กรุงเทพมหานครมีพื้นที่ทั้งหมด 1,568.737 ตร.กม.</s><s>และประชากรล่ะ [/INST]

使用方法

Huggingface

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# 确保CUDA可用
device = 'cuda' if torch.cuda.is_available() else 'cpu'
print(f"使用设备: {device}")

# 初始化模型
model_path="openthaigpt/openthaigpt-1.0.0-7b-chat"
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.float16)
model.to(device)

# 提示
prompt = "สวัสดีครับ OpenThaiGPT"
llama_prompt = f"<s>[INST] <<SYS>>\n你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด<</SYS>>\n\n{prompt} [/INST]"
inputs = tokenizer.encode(llama_prompt, return_tensors="pt")
inputs = inputs.to(device)

# 生成
outputs = model.generate(inputs, max_length=512, num_return_sequences=1)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

vLLM

1. 安装VLLM (https://github.com/vllm-project/vllm)

2. 运行服务器

python -m vllm.entrypoints.api_server --model /path/to/model --tensor-parallel-size num_gpus

3. 运行推理（CURL示例）

curl --request POST \
    --url http://localhost:8000/generate \
    --header "Content-Type: application/json" \
    --data '{"prompt": "<s>[INST] <<SYS>>\n你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด\n<</SYS>>\n\nอยากลดความอ้วนต้องทำอย่างไร [/INST]","use_beam_search": false, "temperature": 0.1, "max_tokens": 512, "top_p": 0.75, "top_k": 40, "frequency_penalty": 0.3 "stop": "</s>"}'

LlamaCPP（用于GGUF）

1. 构建并安装LlamaCPP（LLAMA_CUBLAS=1用于GPU推理）

git clone https://github.com/ggerganov/llama.cpp.git \
  && cd llama.cpp \
  && make -j LLAMA_CUBLAS=1 CUDA_DOCKER_ARCH=all

2. 运行服务器

./server -m /path/to/ggml-model-f16.gguf -c 3072 -ngl 81 -ts 1,1 --host 0.0.0.0

3. 运行推理（CURL示例）

curl --location 'http://localhost:8000/completion' \
--header 'Content-Type: application/json' \
--data '{
    "prompt":"<s>[INST] <<SYS>>\n你是一个问答助手。尽可能真实和有帮助地回答这个问题 คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด friendly\n\n<<SYS>>\n\nอยากลดความอ้วนต้องทำอย่างไร [/INST]",
    "max_tokens": 512,
    "stop":"</s>"
}'

GPU内存需求

OpenThaiGPT团队

• Kobkrit Viriyayudhakorn (kobkrit@aieat.or.th)
• Sumeth Yuenyong (sumeth.yue@mahidol.edu)
• Thaweewat Rugsujarit (thaweewr@scg.com)
• Jillaphat Jaroenkantasima (autsadang41@gmail.com)
• Norapat Buppodom (new@norapat.com)
• Koravich Sangkaew (kwankoravich@gmail.com)
• Peerawat Rojratchadakorn (peerawat.roj@gmail.com)
• Surapon Nonesung (nonesungsurapon@gmail.com)
• Chanon Utupon (chanon.utupon@gmail.com)
• Sadhis Wongprayoon (sadhis.tae@gmail.com)
• Nucharee Thongthungwong (nuchhub@hotmail.com)
• Chawakorn Phiantham (mondcha1507@gmail.com)
• Patteera Triamamornwooth (patt.patteera@gmail.com)
• Nattarika Juntarapaoraya (natt.juntara@gmail.com)
• Kriangkrai Saetan (kraitan.ss21@gmail.com)
• Pitikorn Khlaisamniang (pitikorn32@gmail.com)

引用

如果OpenThaiGPT对您的工作有所帮助，请考虑引用如下：

Bibtex

@misc{yuenyong2024openthaigpt15thaicentricopen,
      title={OpenThaiGPT 1.5: A Thai-Centric Open Source Large Language Model}, 
      author={Sumeth Yuenyong and Kobkrit Viriyayudhakorn and Apivadee Piyatumrong and Jillaphat Jaroenkantasima},
      year={2024},
      eprint={2411.07238},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2411.07238}, 
}

APA格式（用于TXT、MS Word）

Yuenyong, S., Viriyayudhakorn, K., Piyatumrong, A., & Jaroenkantasima, J. (2024). OpenThaiGPT 1.5: A Thai-Centric Open Source Large Language Model. arXiv [Cs.CL]. Retrieved from http://arxiv.org/abs/2411.07238

免责声明：提供的响应不保证准确性。