许可证: mit
语言:

• 日语
• 英语
  基础模型:
• sbintuitions/sarashina2.2-3b-instruct-v0.1
  任务标签: 文本生成
  数据集:
• Nurture-intelligence/ins_dataset

DataPilot/ArrowNeo-AME-4x3B-v0.1-MoE

概述

该模型以成为AI虚拟主播的灵魂为目标，基于SB intuitions的sarashina-2.2-instruct-v0.1，通过Unsoth和Mergekit-MoE技术构建而成。

这是一个由一个基础模型和三个专家模型（专业化模型）组合而成的混合模型。

专家模型包含以下三个通过Unsloth和合成数据训练的模型：
・ 代码专精模型(ArrowNeo-Neko-3B-coder)
・ 强化指令跟随性能的模型(ArrowNeo-Neko-3B-Instruct-v0.1)
・ 增强多轮对话能力的模型(ArrowNeo-Neko-3B-Instruct-v0.2)

AI虚拟主播的灵魂需要具备"多轮对话能力"、"指令跟随能力"和"轻量化"特性。为实现这些目标，我们开发并融合了上述模型。采用Mergekit-MoE技术，在保持参数规模的同时实现了运行效率。

使用方法

通过以下代码可运行该模型：

import torch  
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed  

# 加载模型  
model_name = "DataPilot/ArrowNeo-AME-4x3B-v0.1-MoE"  
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")  
tokenizer = AutoTokenizer.from_pretrained(model_name)  
chat_pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer)  
set_seed(123)  

# 用户输入  
user_input = [{"role": "user", "content": "你好，请用Python编写统计'strawberry'中字母R出现次数的代码。"}]  

# 生成响应  
responses = chat_pipeline(  
    user_input,  
    max_length=50,  
    do_sample=True,  
    num_return_sequences=2,  
)  

# 显示响应  
for i, response in enumerate(responses, 1):  
    print(f"响应{i}: {response['generated_text']}")  

局限性

该模型未经过充分的安全训练，可能产生无意义内容、不准确信息或存在偏见/令人不适的输出。建议开发者在应用前根据人类偏好和安全考量进行调优。

Mergekit配置

base_model: sbintuitions/sarashina2.2-3b-instruct-v0.1  
gate_mode: hidden  
dtype: bfloat16  
experts:  
  - source_model: DataPilot/ArrowNeo-Neko-3B-Instruct-v0.2  
    positive_prompts:  
      - "请结合具体案例，阐述生成式AI对社会可能产生的影响。"  
      - "远程办公普及后，工作效率和沟通方式发生了哪些变化？请分析具体利弊。"  
      - "在教育领域使用AI生成内容时应注意哪些伦理问题？请举例说明。"  
      - "针对20-30岁都市上班族的健康生活需求，请提出三个创新商业方案，并分析其可行性。"  
      - "请通俗易懂地解说江户时代平民的日常生活和节庆活动，及其对现代的影响。"  
      - "请推荐适合室内外进行的休闲活动，帮助打破周末单调感。"  
  - source_model: DataPilot/ArrowNeo-Neko-3B-Instruct-v0.1  
    positive_prompts:  
      - "请系统分析日本少子老龄化现状及政府应对政策的成效与挑战。"  
      - "请用条目式列举五位世界著名画家的时代背景、代表作及其艺术影响。"  
      - "请分章节说明机器学习、深度学习和人工智能的区别及实际应用案例。"  
      - "为什么熊猫主要吃竹子？请简要说明。"  
      - "请用三句话概括《桃太郎》的故事梗概。"  
      - "请分享一个关于太空旅行的冷知识。"  
  - source_model: DataPilot/ArrowNeo-Neko-3B-coder  
    positive_prompts:  
      - "请编写Python函数find_duplicates，实现从整数列表中找出重复值并按升序返回。"  
      - "请使用BeautifulSoup编写爬取模拟在线书店首页的Python代码，需包含异常处理。"  
      - "请用Pandas编写处理销售数据CSV的Python函数，要求按产品分类汇总销售额。"  
      - "Python中反转列表的最简方法是什么？"  
      - "请写出在浏览器控制台显示当前时间的JavaScript代码。"  
      - "请用简单示例说明Python中for循环与while循环的区别。"  

许可证

MIT许可证
本模型遵循原模型许可证条款。