基础模型:

• meta-llama/Meta-Llama-3-8B
• meta-llama/Meta-Llama-3-8B-Instruct 库名称: transformers 标签:
• mergekit
• merge 许可证: other 许可证名称: llama3 许可证链接: LICENSE 额外授权提示: >-

  META LLAMA 3 社区许可协议

Llama-3-DARE-v3-8B

这是使用mergekit创建的预训练语言模型合并版本。

合并详情

合并方法

该模型采用DARE TIES合并方法，以meta-llama/Meta-Llama-3-8B作为基础模型进行合并。

合并模型

合并包含以下模型：

• meta-llama/Meta-Llama-3-8B-Instruct

配置

生成该模型使用的YAML配置如下：

基础模型:
  模型:
    路径: meta-llama/Meta-Llama-3-8B
数据类型: bfloat16
合并方法: dare_ties
参数:
  int8_mask: 1.0
  标准化: 0.0
切片:
- 源模型:
  - 层范围: [0, 32]
    模型:
      模型:
        路径: meta-llama/Meta-Llama-3-8B-Instruct
    参数:
      密度:
      - 过滤器: embed_token
        值: 0.12392239047187575
      - 过滤器: model.norm
        值: 0.9321540995757155
      - 过滤器: lm_head
        值: 0.9321540995757155
      - 过滤器: layers.0.
        值: 0.9790541113047215
      - 过滤器: layers.1.
        值: 0.5837293662960215
      - 过滤器: layers.2.
        值: 0.9412235995535374
      - 过滤器: layers.3.
        值: 0.31233149627589435
      - 过滤器: layers.4.
        值: 0.8429344053665633
      - 过滤器: layers.5.
        值: 0.6736586892578483
      - 过滤器: layers.6.
        值: 0.24511379602231775
      - 过滤器: layers.7.
        值: 0.9579106307398759
      - 过滤器: layers.8.
        值: 0.763438755789315
      - 过滤器: layers.9.
        值: 0.9682444116383796
      - 过滤器: layers.10.
        值: 0.08453321074167956
      - 过滤器: layers.11.
        值: 0.7964240843030714
      - 过滤器: layers.12.
        值: 0.33878902628372387
      - 过滤器: layers.13.
        值: 0.8458690962458848
      - 过滤器: layers.14.
        值: 0.1052429440590172
      - 过滤器: layers.15.
        值: 0.7623565162481113
      - 过滤器: layers.16.
        值: 0.9707532532287503
      - 过滤器: layers.17.
        值: 0.12523916859700104
      - 过滤器: layers.18.
        值: 0.8415224301240337
      - 过滤器: layers.19.
        值: 0.12872802862625543
      - 过滤器: layers.20.
        值: 0.5529482316673654
      - 过滤器: layers.21.
        值: 0.09282157218446654
      - 过滤器: layers.22.
        值: 0.8370536041906024
      - 过滤器: layers.23.
        值: 0.9175102292532279
      - 过滤器: layers.24.
        值: 0.8983418171724273
      - 过滤器: layers.25.
        值: 0.8136717935920286
      - 过滤器: layers.26.
        值: 0.05054222298359671
      - 过滤器: layers.27.
        值: 0.869544796603939
      - 过滤器: layers.28.
        值: 0.04716191274361657
      - 过滤器: layers.29.
        值: 0.13032011470396976
      - 过滤器: layers.30.
        值: 0.19116844757457122
      - 过滤器: layers.31.
        值: 0.1455500526734667
      权重:
      - 过滤器: embed_token
        值: 0.12232308541622408
      - 过滤器: model.norm.
        值: 0.7266901175725669
      - 过滤器: lm_head
        值: 0.7266901175725669
      - 过滤器: layers.0.
        值: 0.8207345096435786
      - 过滤器: layers.1.
        值: 0.9504884225844141
      - 过滤器: layers.2.
        值: 0.7328920145925348
      - 过滤器: layers.3.
        值: 0.6736895869883676
      - 过滤器: layers.4.
        值: 0.7970121175937948
      - 过滤器: layers.5.
        值: 0.9789312914172503
      - 过滤器: layers.6.
        值: 0.962551880054289
      - 过滤器: layers.7.
        值: 0.9561739657469092
      - 过滤器: layers.8.
        值: 0.8536201095014567
      - 过滤器: layers.9.
        值: 0.9376890733815005
      - 过滤器: layers.10.
        值: 0.9551398977410172
      - 过滤器: layers.11.
        值: 0.9967262117722387
      - 过滤器: layers.12.
        值: 0.7701592243202565
      - 过滤器: layers.13.
        值: 0.6842573291853765
      - 过滤器: layers.14.
        值: 0.798376050387875
      - 过滤器: layers.15.
        值: 0.801001533828631
      - 过滤器: layers.16.
        值: 0.14199137490635572
      - 过滤器: layers.17.
        值: 0.7587521819162459
      - 过滤器: layers.18.
        值: 0.9769968221517621
      - 过滤器: layers.19.
        值: 0.5936888514834866
      - 过滤器: layers.20.
        值: 0.979481555973458
      - 过滤器: layers.21.
        值: 0.1362420472755318
      - 过滤器: layers.22.
        值: 0.1451804836602873
      - 过滤器: layers.23.
        值: 0.9319964347718136
      - 过滤器: layers.24.
        值: 0.8814265997262563
      - 过滤器: layers.25.
        值: 0.870638468633288
      - 过滤器: layers.26.
        值: 0.06311119172889679
      - 过滤器: layers.27.
        值: 0.902932718098389
      - 过滤器: layers.28.
        值: 0.9174145551871369
      - 过滤器: layers.29.
        值: 0.9048467992426628
      - 过滤器: layers.30.
        值: 0.04929564345988049
      - 过滤器: layers.31.
        值: 0.922707420329624
  - 层范围: [0, 32]
    模型:
      模型:
        路径: meta-llama/Meta-Llama-3-8B
    参数:
      密度:
      - 过滤器: embed_token
        值: 0.1479082895745973
      - 过滤器: model.norm
        值: 0.18334257522610492
      - 过滤器: lm_head
        值: 0.18334257522610492
      - 过滤器: layers.0.
        值: 0.17476905394590242
      - 过滤器: layers.1.
        值: 0.11161623400742576
      - 过滤器: layers.2.
        值: 0.16109344344908105
      - 过滤器: layers.3.
        值: 0.2735834275693588
      - 过滤器: layers.4.
        值: 0.8258891898417566
      - 过滤器: layers.5.
        值: 0.21085556872053604
      - 过滤器: layers.6.
        值: 0.20766543320815006
      - 过滤器: layers.7.
        值: 0.8947694253855037
      - 过滤器: layers.8.
        值: 0.734275334571558
      - 过滤器: layers.9.
        值: 0.1632311874735626
      - 过滤器: layers.10.
        值: 0.940700711783812
      - 过滤器: layers.11.
        值: 0.07148774488326176
      - 过滤器: layers.12.
        值: 0.07541557340487534
      - 过滤器: layers.13.
        值: 0.13833770311269455
      - 过滤器: layers.14.
        值: 0.9612379711004643
      - 过滤器: layers.15.
        值: 0.8090075125599039
      - 过滤器: layers.16.
        值: 0.7255233959581611
      - 过滤器: layers.17.
        值: 0.2634507144990253
      - 过滤器: layers.18.
        值: 0.07135903934561608
      - 过滤器: layers.19.
        值: 0.1180822729914722
      - 过滤器: layers.20.
        值: 0.07751975543731829
      - 过滤器: layers.21.
        值: 0.9990557487897024
      - 过滤器: layers.22.
        值: 0.17045615586066107
      - 过滤器: layers.23.
        值: 0.19588339382290734
      - 过滤器: layers.24.
        值: 0.152313213824124
      - 过滤器: layers.25.
        值: 0.8120646024357844
      - 过滤器: layers.26.
        值: 0.6661112930033101
      - 过滤器: layers.27.
        值: 0.7782416079783356
      - 过滤器: layers.28.
        值: 0.24425477536875875
      - 过滤器: layers.29.
        值: 0.05962906198631645
      - 过滤器: layers.30.
        值: 0.023125010859717736
      - 过滤器: layers.31.
        值: 0.9109899850283665
      权重:
      - 过滤器: embed_token
        值: 0.12126630242759481
      - 过滤器: model.norm.
        值: 0.07734624352533248
      - 过滤器: lm_head
        值: 0.07734624352533248
      - 过滤器: layers.0.
        值: 0.16823028525905875
      - 过滤器: layers.1.
        值: 0.9417449451303712
      - 过滤器: layers.2.
        值: 0.7717519522673566
      - 过滤器: layers.3.
        值: 0.7601040526349441
      - 过滤器: layers.4.
        值: 0.0019090753772779204
      - 过滤器: layers.5.
        值: 0.16032547702469566
      - 过滤器: layers.6.
        值: 0.12224994873335546
      - 过滤器: layers.7.
        值: 0.27695385066177564
      - 过滤器: layers.8.
        值: 0.018799614691291815
      - 过滤器: layers.9.
        值: 0.9759168818301882
      - 过滤器: layers.10.
        值: 0.006525097827571269
      - 过滤器: layers.11.
        值: 0.756537797885991
      - 过滤器: layers.12.
        值: 0.8051453838823787
      - 过滤器: layers.13.
        值: 0.8879631547059472
      - 过滤器: layers.14.
        值: 0.713799746085261
      - 过滤器: layers.15.
        值: 0.03862352880564701
      - 过滤器: layers.16.
        值: 0.1837448681603537
      - 过滤器: layers.17.
        值: 0.30267576939315943
      - 过滤器: layers.18.
        值: 0.17332405807285195
      - 过滤器: layers.19.
        值: 0.11686420946772721
      - 过滤器: layers.20.
        值: 0.2826021601318976
      - 过滤器: layers.21.
        值: 0.14782621450845335
      - 过滤器: layers.22.
        值: 0.8764989337980243
      - 过滤器: layers.23.
        值: 0.5836574402524565
      - 过滤器: layers.24.
        值: 0.8579541606567384
      - 过滤器: layers.25.
        值: 0.2310998812434597
      - 过滤器: layers.26.
        值: 0.13443251834995432
      - 过滤器: layers.27.
        值: 0.9754382468614297
      - 过滤器: layers.28.
        值: 0.9406099007353652
      - 过滤器: layers.29.
        值: 0.10203532427654999
      - 过滤器: layers.30.
        值: 0.747420490316978
      - 过滤器: layers.31.
        值: 0.06383831695667043