许可证：llama2
语言：

• 泰语
• 英语
  库名称：transformers
  流水线标签：文本生成
  标签：
• openthaigpt
• llama

🇹🇭 OpenThaiGPT 70b 1.0.0

更多信息

🇹🇭 OpenThaiGPT 70b 1.0.0版本 是一款基于LLaMA v2的700亿参数泰语聊天模型，于2024年4月8日发布。该模型专门针对泰语指令进行了微调，并通过在大型语言模型（LLM）词典中加入了超过10,000个最常用的泰语词汇，显著提升了响应速度。

亮点

• 领先的泰语LLM，在多项泰语考试中平均得分最高，超越了所有其他开源的泰语LLM。
• 首个700亿参数的泰语开源LLM，在泰语考试中的得分高于OpenAI GPT 3.5、Google Gemini和Claude 3 Haiku。
• 支持多轮对话。
• 支持**检索增强生成（RAG）**用例，以生成更丰富的回答。
• 生成速度提升十倍，得益于模型中添加了10,000个常用泰语词汇。
• 基于超过650亿泰语词汇进行预训练，并通过超过100万条泰语指令示例进行了精细微调。
• 能够理解和处理最多4096个泰语单词的输入上下文，适用于复杂和详细的指令。

OpenThaiGPT评估基准

**请查看OTG 13b（2024年4月）以获取此模型的评估结果。

（更新于：2024年4月7日）

由外部机构（Float16.cloud）评估的M3Exam基准

许可证

源代码：Apache软件许可证2.0。

权重：研究和商业用途。

赞助商

支持

• 官方网站：https://openthaigpt.aieat.or.th
• Facebook页面：https://web.facebook.com/groups/openthaigpt
• Discord讨论和支持服务器：点击此处
• 电子邮件：kobkrit@aieat.or.th

提示格式

提示格式基于Llama2，并进行了小幅修改（添加“###”以指定上下文部分）

<s>[INST] <<SYS>>  
{system_prompt}  
<</SYS>>  

{human_turn1}###{context_turn1} [/INST]{assistant_turn1}</s><s>{human_turn2}###{context_turn2} [/INST] ...  

系统提示：

你是一个问答助手。请尽可能真实和有帮助地回答提问。คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด  

示例

单轮对话示例

<s>[INST] <<SYS>>  
你是一个问答助手。请尽可能真实和有帮助地回答提问。คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด  
<</SYS>>  

สวัสดีครับ [/INST]  

带上下文的单轮对话（RAG）示例

<s>[INST] <<SYS>>  
你是一个问答助手。请尽可能真实和有帮助地回答提问。คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด  
<</SYS>>  

曼谷的面积有多大？###曼谷是泰国的首都，也是人口最多的城市。曼谷的总面积为1,568.737平方公里，登记人口超过800万。 [/INST]  

多轮对话示例

第一轮

<s>[INST] <<SYS>>  
你是一个问答助手。请尽可能真实和有帮助地回答提问。คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด  
<</SYS>>  

สวัสดีครับ [/INST]  

第二轮

<s>[INST] <<SYS>>  
你是一个问答助手。请尽可能真实和有帮助地回答提问。คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด  
<</SYS>>  

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]  

第三轮

<s>[INST] <<SYS>>  
你是一个问答助手。请尽可能真实和有帮助地回答提问。คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด  
<</SYS>>  

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]  

第四轮

<s>[INST] <<SYS>>  
你是一个问答助手。请尽可能真实和有帮助地回答提问。คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด  
<</SYS>>  

สวัสดีครับ [/INST]สวัสดีค่ะ มีคำถามอะไร ถามได้เลย</s><s>ขอสูตรทำส้มตำหน่อย [/INST]ได้เลยค่ะ ส้มตำเป็นเมนูที่ทำง่ายและอร่อย มาเริ่มกันเลยนะคะ</s><s>เริ่มได้เลย [/INST]  
ตำไทยเป็นเมนูที่ใครๆ ก็คุ้นเคย ด้วยรสชาติที่กลมกล่อม หวาน เปรี้ยว เค็ม เผ็ด ครบรส วันนี้เราจะมาทำส้มตำด้วยกันค่ะ สิ่งแรกที่ต้องมีคือเครื่องปรุงดังนี้  
- มะละกอดิบ 1 ลูก  
- กุ้งแห้ง 1/2 ถ้วย  
- กระเทียม 3 กลีบ  
- พริกขี้หนู 3 เม็ด  
- น้ำตาลปี๊บ 1 ช้อนโต๊ะ  
- น้ำปลา 2 ช้อนโต๊ะ  
- มะนาว 1 ลูก  
- งาขาวคั่ว 1/4 ถ้วย  

วิธีทำมีดังนี้ค่ะ  
1. เริ่มจากล้างมะละกอให้สะอาด แล้วใช้มีดปอกเปลือก เอาไส้ออก หั่นเป็นเส้นบางๆ เตรียมไว้  
2. ตำกุ้งแห้งให้ละเอียด แล้วตักขึ้นพักไว้  
3. ใช้ครกหินหรือเครื่องปั่น บดพริกขี้หนูกับกระเทียมให้ละเอียด  
4. ใส่กุ้งแห้งที่ตำแล้วลงไปผสม ตามด้วยน้ำตาลปี๊บ น้ำปลา มะนาว และเส้นมะละกอ คลุกเคล้าให้เข้ากัน  
5. ชิมรสให้ได้รสหวาน เปรี้ยว เค็ม เผ็ด จากนั้นตักขึ้นเสิร์ฟพร้อมผักสด อาทิ กะหล่ำปลี ถั่วงอก แครอท ผักบุ้ง</s><s>ขอบคุณครับ [/INST]  

带上下文的多轮对话（RAG）示例

<s>[INST] <<SYS>>  
你是一个问答助手。请尽可能真实和有帮助地回答提问。คุณคือผู้ช่วยตอบคำถาม จงตอบคำถามอย่างถูกต้องและมีประโยชน์ที่สุด  
<</SYS>>  

曼谷的面积有多大？###曼谷是泰国的首都，也是人口最多的城市。曼谷的总面积为1,568.737平方公里，登记人口超过800万。 [/INST]  
曼谷的总面积为1,568.737平方公里。</s><s>那么人口呢？ [/INST]  

使用方法

Huggingface

from transformers import AutoModelForCausalLM, AutoTokenizer  
import torch  

# 确保CUDA可用  
device = 'cuda' if torch.cuda.is_available() else 'cpu'  
print(f"使用设备: {device}")  

# 初始化模型  
model_path="openthaigpt/openthaigpt-1.0.0-7b-chat"  
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)  
model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True, torch_dtype=torch.float16)  
model.to(device)  

# 提示  
prompt = "สวัสดีครับ OpenThaiGPT"  
llama_prompt = f"<s>[