Yism 34B 0rn

由 altomek 开发

YiSM-34B-0rn是一个基于Yi-1.5-34B和Yi-1.5-34B-Chat融合的大语言模型，旨在平衡指令遵循能力和基础模型特性。

大型语言模型

Transformers

开源协议:Apache-2.0 #34B大模型 #指令与基础融合 #高精度推理

下载量 22

发布时间 : 5/26/2024

模型介绍

内容详情

替代品

模型简介

这是一个自融合模型，结合了Yi-1.5-34B的基础能力和Yi-1.5-34B-Chat的对话能力，适用于多种文本生成任务。

模型特点

平衡性

既保留了基础模型的特性，又能较好地遵循指令

长文本处理

支持最大8K的上下文长度

多任务能力

在多个基准测试中表现优异，包括推理、常识问答等

模型能力

文本生成

指令遵循

问答系统

推理任务

常识理解

使用案例

教育

教学辅助

可用于生成教学材料和解答学生问题

研究

知识探索

帮助研究人员探索和获取各种领域的知识

内容创作

文本创作

辅助进行各种类型的文本创作

license: apache-2.0
library_name: transformers
tags:

merge
base_model:
01-ai/Yi-1.5-34B-Chat
01-ai/Yi-1.5-34B
pipeline_tag: text-generation
model-index:
name: YiSM-34B-0rn
results:
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: AI2推理挑战赛（25样本）
  type: ai2_arc
  config: ARC-Challenge
  split: test
  args:
  num_few_shot: 25
  metrics:
  - type: acc_norm
    value: 69.54
    name: 标准化准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: HellaSwag（10样本）
  type: hellaswag
  split: validation
  args:
  num_few_shot: 10
  metrics:
  - type: acc_norm
    value: 86.67
    name: 标准化准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: MMLU（5样本）
  type: cais/mmlu
  config: all
  split: test
  args:
  num_few_shot: 5
  metrics:
  - type: acc
    value: 78.51
    name: 准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: TruthfulQA（0样本）
  type: truthful_qa
  config: multiple_choice
  split: validation
  args:
  num_few_shot: 0
  metrics:
  - type: mc2
    value: 59.68
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: Winogrande（5样本）
  type: winogrande
  config: winogrande_xl
  split: validation
  args:
  num_few_shot: 5
  metrics:
  - type: acc
    value: 83.66
    name: 准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: GSM8k（5样本）
  type: gsm8k
  config: main
  split: test
  args:
  num_few_shot: 5
  metrics:
  - type: acc
    value: 75.82
    name: 准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: IFEval（0样本）
  type: HuggingFaceH4/ifeval
  args:
  num_few_shot: 0
  metrics:
  - type: inst_level_strict_acc and prompt_level_strict_acc
    value: 42.84
    name: 严格准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: BBH（3样本）
  type: BBH
  args:
  num_few_shot: 3
  metrics:
  - type: acc_norm
    value: 45.38
    name: 标准化准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: MATH Lvl 5（4样本）
  type: hendrycks/competition_math
  args:
  num_few_shot: 4
  metrics:
  - type: exact_match
    value: 20.62
    name: 精确匹配率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: GPQA（0样本）
  type: Idavidrein/gpqa
  args:
  num_few_shot: 0
  metrics:
  - type: acc_norm
    value: 16.22
    name: 标准化准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: MuSR（0样本）
  type: TAUR-Lab/MuSR
  args:
  num_few_shot: 0
  metrics:
  - type: acc_norm
    value: 14.76
    name: 标准化准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜
- task:
  type: text-generation
  name: 文本生成
  dataset:
  name: MMLU-PRO（5样本）
  type: TIGER-Lab/MMLU-Pro
  config: main
  split: test
  args:
  num_few_shot: 5
  metrics:
  - type: acc
    value: 41.06
    name: 准确率
    source:
    url: https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard?query=altomek/YiSM-34B-0rn
    name: 开放大模型排行榜

背景音乐...

YiSM-34B-0rn

这是Yi自融合模型。我希望这个模型既能遵循大多数指令，又能保留其基础模型的特性。

成分

设置

我使用max_seq_len 8K和alpha_value 2.65。

SillyTavern预设：

{
    "temp": 0.1,
    "temperature_last": true,
    "top_p": 1,
    "top_k": 0,
    "top_a": 0,
    "tfs": 1,
    "epsilon_cutoff": 0,
    "eta_cutoff": 0,
    "typical_p": 1,
    "min_p": 0,
    "rep_pen": 1.08,
    "rep_pen_range": 0,
    "no_repeat_ngram_size": 0,
    "penalty_alpha": 0,
    "num_beams": 1,
    "length_penalty": 1,
    "min_length": 0,
    "encoder_rep_pen": 1,
    "freq_pen": 0.01,
    "presence_pen": 0,
    "do_sample": true,
    "early_stopping": false,
    "add_bos_token": true,
    "truncation_length": 2048,
    "ban_eos_token": false,
    "skip_special_tokens": true,
    "streaming": true,
    "mirostat_mode": 0,
    "mirostat_tau": 5,
    "mirostat_eta": 0.1,
    "guidance_scale": 1,
    "negative_prompt": "",
    "grammar_string": "",
    "banned_tokens": "",
    "ignore_eos_token_aphrodite": false,
    "spaces_between_special_tokens_aphrodite": true,
    "sampler_order": [
        6,
        0,
        1,
        3,
        4,
        2,
        5
    ],
    "logit_bias": [],
    "n": 1,
    "rep_pen_size": 0,
    "genamt": 2048,
    "max_length": 8192
}

使用条款

下表概述了我的YiSM-34B-0rn模型的主要特性和预期用途：

模型类型	用途	目标用户	关键特性
审查版	适合普通观众和敏感话题	教育机构、家庭和寻求适龄内容的个人	限制明确或成人内容
中性版 (**本模型)	平衡可访问性与开放性	大学、研究人员和好奇心强的用户	鼓励探索和知识交流
无审查版	适合成人和专业领域	专业人士、专家和高级学者	提供对多样化观点和知识的无过滤访问

请注意，所有YiSM-34B-0rn模型均在apache-2.0许可证下运行，使用前请熟悉其条款和条件。

量化版本

GGUF
8bpw
6.5bpw
4.65bpw
4bpw
3.2bpw -> 适用于16GB VRAM，但不推荐。低量化版本性能显著下降。
测量数据 --> ExLlamav2测量数据

开放大模型排行榜评估结果

详细结果请见此处

指标	值
平均值	75.65
AI2推理挑战赛（25样本）	69.54
HellaSwag（10样本）	86.67
MMLU（5样本）	78.51
TruthfulQA（0样本）	59.68
Winogrande（5样本）	83.66
GSM8k（5样本）	75.82

截至2024-06-10，在34B规模范围内排名第5（不包括“私有或已删除”模型），若包含所有模型则排名第8 ;P

开放大模型排行榜评估结果

详细结果请见此处

指标	值
平均值	30.15
IFEval（0样本）	42.84
BBH（3样本）	45.38
MATH Lvl 5（4样本）	20.62
GPQA（0样本）	16.22
MuSR（0样本）	14.76
MMLU-PRO（5样本）	41.06