🚀 狸猫-8B-dpo-v1.0

狸猫-8B-dpo-v1.0是一款大规模语言模型，在多方面表现出色。它基于约80亿参数，经过约1.3T令牌的从头预训练，并通过SFT和DPO进行对话调整。本项目由GENIAC松尾研LLM开发项目组织，众多有志参与者共同开发。

🚀 快速开始

狸猫-8B是一个约80亿参数的大规模语言模型，经过约1.3T令牌的从头预训练。狸猫-8x8B-dpo-v1.0则通过SFT和DPO进行了对话调整。更多详细信息请参考博客文章。

本项目由GENIAC松尾研LLM开发项目组织，由通过公开招募聚集的有志参与者（包括企业人员、学生、研究人员等）共同开发。

✨ 主要特性

• 预训练充分：约80亿参数的模型经过约1.3T令牌的从头预训练。
• 对话优化：通过SFT和DPO进行对话调整。
• 多版本支持：提供多种量子化版本。
• 基准测试：有人工评估和Japanese MT - Bench等测试数据。

📦 安装指南

文档未提及安装步骤，暂不提供。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

model = AutoModelForCausalLM.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0", device_map="auto", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

messages = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "たぬきに純粋理性批判は理解できますか？"}
]

input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
output_ids = model.generate(input_ids,
                            max_new_tokens=1024,
                            temperature=0.5,
                            streamer=streamer)

📚 详细文档

量子化模型

• AWQ 4bit量子化
• GPTQ 4bit量子化
• GPTQ 8bit量子化
• GGUF量子化

⚠️ 重要提示

GGUF版可能存在性能下降问题，不建议使用。

提示格式

狸猫-8B-dpo-v1.0使用日语版Alpaca的提示格式。

• 单轮对话

  <s>以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。
  
  ### 指示:
  たぬきに純粋理性批判は理解できますか？
  
  ### 応答:
  
  

• 多轮对话

  <s>以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。
  
  ### 指示:
  {1ターン目の入力}
  
  ### 応答:
  {1ターン目の応答}</s>
  
  ### 指示:
  {2ターン目の入力}
  
  ### 応答:
  

💡 使用建议

本模型除了默认的系统提示“以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。”外没有学习其他提示，建议使用此系统提示。请在用户提示中描述任务的详细信息。

基准测试

人工评估

创建了一个模拟Chatbot Arena的系统，并进行了人工盲测。（详情请参考此处）

已公开所有评估数据（约2000条）。

Japanese MT - Bench

由GPT - 4进行评估 (gpt - 4 - 0613，在计算平均分数时排除分数为 - 1的情况)

开发成员

畠山 歓 [领导者]、asaoka_tadashi、Atsushi Saito、Chattso - GPT、Chihiro Arata、Chihiro HIGUCHI、Daichi Kohmoto、Esty、Hideaki Hayashi、hiroaki shioya、Issei Fujimoto、Jie Zeng、Jinsei Shiraishi、K. Nishizawa、Kazutaka Nishimae、Kunihiro Watanabe、masaki okamura、Minami Someya、M先生、Nishi、Nishijima、p1atdev、Rumi Nakagawa、Ryota Mitsuhashi、Susumu Ota、takagi、Toshio Nishida、y_morinaga、Yuki Namiuchi、Yukie Kawano、永原恒治、加藤纯、河越 淳、岩田 兼太朗、菊池満帆、熊田匡仁、江國翔太、佐野敏幸、山口 裕輝、西井康隆、川村 正春、片上 舜、堀江吏将、林寛太 (Kanta Hayashi)

📄 许可证

本项目采用Apache - 2.0许可证。