license: apache-2.0 language:

• zh widget:
• text: >- 一位好奇用户与人工智能助手之间的对话。助手针对用户问题提供有用、详尽且礼貌的回答。用户：你好，请问你可以帮我写一封推荐信吗？助手： library_name: transformers pipeline_tag: text-generation

🌟 访问 台湾大语言模型演示聊天界面 🌟

台湾大语言模型7B v2.0.1聊天版模型卡

台湾大语言模型是一款专为繁体中文优化的先进语言模型，深度聚焦台湾地区的语言文化语境。该模型基于大规模基础模型，通过融合多元台湾文本资源并进行监督微调训练而成，在语言理解与生成任务中表现卓越，能精准捕捉台湾文化细微差异。在TC-Eval等多项基准测试中展现出显著的上下文理解与文化关联性提升。完整技术细节请参阅我们的技术报告。

模型描述

• 模型类型: 70亿参数规模的类GPT模型，基于公开数据集与合成数据混合微调
• 支持语言: 主要面向繁体中文(zh-tw)
• 基础模型: yentinglin/Taiwan-LLM-7B-v2.0-base

模型来源

• 代码库: https://github.com/MiuLab/Taiwan-LLaMa
• 演示平台: https://twllm.com/

性能表现

使用方式

通过🤗 Transformers库的pipeline()函数调用示例：

# 安装依赖：pip install transformers>=4.34 accelerate

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="yentinglin/Taiwan-LLM-7B-v2.0.1-chat", torch_dtype=torch.bfloat16, device_map="auto")

# 使用tokenizer的聊天模板格式化信息 - 参见https://huggingface.co/docs/transformers/main/en/chat_templating
messages = [
    {"role": "system", "content": "你是一个人工智能助理"},
    {"role": "user", "content": "东北季风如何影响台湾气候？"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

训练超参数

核心训练参数配置：

• 学习率：5e-05
• 分布式训练类型：多GPU
• 优化器：Adam (β1=0.9, β2=0.999, ε=1e-08)
• 学习率调度器：余弦退火
• 预热比例：0.03
• 训练轮次：5.0

引用规范

若台湾大语言模型对您的研究有所助益，请引用：

@misc{lin2023taiwan,
      title={Taiwan LLM: Bridging the Linguistic Divide with a Culturally Aligned Language Model}, 
      author={Yen-Ting Lin and Yun-Nung Chen},
      year={2023},
      eprint={2311.17487},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}