许可证：其他 许可证名称：TAIDE-L模型社群授权协议 许可证链接：https://drive.google.com/file/d/1FcUZjbUH6jr4xoCyAronN_slLgcdhEUd/view 额外授权提示标题：使用本模型前需同意授权条款 额外授权字段： 姓名(Name)：文本 出生日期(Date of birth)：日期选择器 国家(Country)：国家选择 所属单位(Affiliation)：文本 地理位置(geo)：IP定位 点击提交即表示您同意社群授权协议与个人资料收集声明(By clicking Submit below I accept the terms of the license and privacy policy)：复选框

额外授权提示内容：

• TAIDE L类模型社群授权协议(License)

• 个人资料收集声明(Privacy policy)

额外授权按钮内容：提交(Submit)

• English Version

模型简介

• TAIDE计划致力于开发符合台湾语言和文化特性的生成式人工智能对话引擎模型，同时构建可信任的人工智能环境。结合产学研能量，推动可信任生成式人工智能的发展，提升台湾在国际竞争中的地位，促进产业发展，避免对外国技术的依赖。
• 本计划开发的大型语言模型以Meta公司发布的LLaMA2-7b为基础，导入台湾不同领域可用的文本与训练素材，提高模型在正体中文回答的能力与特定任务的表现。公开发布的模型如下：
  • TAIDE-LX-7B：以LLaMA2-7b为基础，仅使用繁体中文资料预训练(continuous pretraining)的模型，适合使用者对模型进一步微调(fine tune)的使用情境。因预训练模型没有经过微调和偏好对齐，可能会产生恶意或不安全的输出，使用时请小心。
  • TAIDE-LX-7B-Chat：以TAIDE-LX-7B为基础，通过指令微调(instruction tuning)强化办公室常用任务和多轮问答对话能力，适合聊天对话或任务协助的使用情境。TAIDE-LX-7B-Chat另外提供4 bit 量化模型，量化模型主要是提供使用者的便利性，可能会影响效能与更多不可预期的问题，还请使用者理解与注意。

模型参数

• 参数量：7B
• 最大内容长度(context length)：4K
• 繁中训练资料token量：41.44B
• 训练时间：1531.82 H100 GPU小时

特色

• 额外扩充24720个中文字元、字词，强化模型处理繁体中文的能力
• 严格把关模型的训练资料，提升模型生成资料的可信任性和适用性
• 针对自动摘要、写信、写文章、中翻英、英翻中等办公室常用任务做加强
• 针对台湾在地文化、用语、国情等知识做加强
• 具备多轮问答对话能力

应用范例

使用说明

• 示例程序
  • 示例程序与文件后续会发布到github
• tokenizer 必须设为 slow mode

  tokenizer = AutoTokenizer.from_pretrained("taide/TAIDE-LX-7B-Chat", use_fast=False)
  

• prompt 模板
  • 一般问答用法

    f"<s>[INST] {question} [/INST]"
    

    • 将 {question} 替换成使用者的输入
  • 加入 system prompt 的用法

    f"<s>[INST] <<SYS>>\n{sys