Rollama3 8b Instruct 2024 06 28

由 OpenLLM-Ro 开发

RoLlama3是基于Meta Llama 3构建的罗马尼亚语生成文本模型系列，这是8B参数的指令微调版本，专门针对罗马尼亚语任务优化。

大型语言模型

Transformers

其他

#罗马尼亚语生成 #多任务指令 #学术评测优化

下载量 62

发布时间 : 6/6/2024

模型介绍

内容详情

替代品

模型简介

该模型是OpenLLM-Ro项目开发的罗马尼亚语大语言模型，基于Meta-Llama-3-8B微调，适用于各种罗马尼亚语自然语言处理任务，特别是类似助手的聊天场景。

模型特点

罗马尼亚语优化

专门针对罗马尼亚语进行预训练和微调，在罗马尼亚语任务上表现优异

多数据集微调

使用7个不同的罗马尼亚语数据集进行指令微调，涵盖广泛的应用场景

全面评估

在多个罗马尼亚语基准测试中进行了全面评估，包括RoMT-Bench、RoCulturaBench等

模型能力

罗马尼亚语文本生成

问答系统

机器翻译

文本分类

语义相似度计算

使用案例

教育

学术问答

回答罗马尼亚语学术问题

在Romanian_Academic_Benchmarks上准确率50.56%

翻译

英罗互译

英语和罗马尼亚语之间的机器翻译

WMT_EN-RO BLEU 24.01，WMT_RO-EN BLEU 27.36

情感分析

罗马尼亚语情感分类

对罗马尼亚语文本进行情感分析

LaRoSeDa_binary宏F1 97.52%

license: cc-by-nc-4.0 language:

罗马尼亚语 base_model:
meta-llama/Meta-Llama-3-8B datasets:
OpenLLM-Ro/ro_sft_alpaca
OpenLLM-Ro/ro_sft_alpaca_gpt4
OpenLLM-Ro/ro_sft_dolly
OpenLLM-Ro/ro_sft_selfinstruct_gpt4
OpenLLM-Ro/ro_sft_norobots
OpenLLM-Ro/ro_sft_orca
OpenLLM-Ro/ro_sft_camel model-index:
- name: OpenLLM-Ro/RoLlama3-8b-Instruct-2024-06-28 results:
  - task: type: 文本生成 dataset: name: RoMT-Bench type: RoMT-Bench metrics:
    - name: 得分 type: 得分 value: 5.15
  - task: type: 文本生成 dataset: name: RoCulturaBench type: RoCulturaBench metrics:
    - name: 得分 type: 得分 value: 3.71
  - task: type: 文本生成 dataset: name: Romanian_Academic_Benchmarks type: Romanian_Academic_Benchmarks metrics:
    - name: 平均准确率 type: 准确率 value: 50.56
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_arc_challenge type: OpenLLM-Ro/ro_arc_challenge metrics:
    - name: 平均准确率 type: 准确率 value: 44.70
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_mmlu type: OpenLLM-Ro/ro_mmlu metrics:
    - name: 平均准确率 type: 准确率 value: 52.19
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_winogrande type: OpenLLM-Ro/ro_winogrande metrics:
    - name: 平均准确率 type: 准确率 value: 67.23
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_hellaswag type: OpenLLM-Ro/ro_hellaswag metrics:
    - name: 平均准确率 type: 准确率 value: 57.69
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_gsm8k type: OpenLLM-Ro/ro_gsm8k metrics:
    - name: 平均准确率 type: 准确率 value: 30.23
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_truthfulqa type: OpenLLM-Ro/ro_truthfulqa metrics:
    - name: 平均准确率 type: 准确率 value: 51.34
  - task: type: 文本生成 dataset: name: LaRoSeDa_binary type: LaRoSeDa_binary metrics:
    - name: 平均宏F1 type: 宏F1 value: 97.52
  - task: type: 文本生成 dataset: name: LaRoSeDa_multiclass type: LaRoSeDa_multiclass metrics:
    - name: 平均宏F1 type: 宏F1 value: 67.41
  - task: type: 文本生成 dataset: name: LaRoSeDa_binary_finetuned type: LaRoSeDa_binary_finetuned metrics:
    - name: 平均宏F1 type: 宏F1 value: 94.15
  - task: type: 文本生成 dataset: name: LaRoSeDa_multiclass_finetuned type: LaRoSeDa_multiclass_finetuned metrics:
    - name: 平均宏F1 type: 宏F1 value: 87.13
  - task: type: 文本生成 dataset: name: WMT_EN-RO type: WMT_EN-RO metrics:
    - name: 平均BLEU type: BLEU value: 24.01
  - task: type: 文本生成 dataset: name: WMT_RO-EN type: WMT_RO-EN metrics:
    - name: 平均BLEU type: BLEU value: 27.36
  - task: type: 文本生成 dataset: name: WMT_EN-RO_finetuned type: WMT_EN-RO_finetuned metrics:
    - name: 平均BLEU type: BLEU value: 26.53
  - task: type: 文本生成 dataset: name: WMT_RO-EN_finetuned type: WMT_RO-EN_finetuned metrics:
    - name: 平均BLEU type: BLEU value: 40.36
  - task: type: 文本生成 dataset: name: XQuAD type: XQuAD metrics:
    - name: 平均精确匹配 type: 精确匹配 value: 39.43
  - task: type: 文本生成 dataset: name: XQuAD type: XQuAD metrics:
    - name: 平均F1 type: F1 value: 59.50
  - task: type: 文本生成 dataset: name: XQuAD_finetuned type: XQuAD_finetuned metrics:
    - name: 平均精确匹配 type: 精确匹配 value: 44.45
  - task: type: 文本生成 dataset: name: XQuAD_finetuned type: XQuAD_finetuned metrics:
    - name: 平均F1 type: F1 value: 59.76
  - task: type: 文本生成 dataset: name: STS type: STS metrics:
    - name: 平均Spearman type: Spearman value: 77.20
  - task: type: 文本生成 dataset: name: STS type: STS metrics:
    - name: 平均Pearson type: Pearson value: 77.87
  - task: type: 文本生成 dataset: name: STS_finetuned type: STS_finetuned metrics:
    - name: 平均Spearman type: Spearman value: 85.80
  - task: type: 文本生成 dataset: name: STS_finetuned type: STS_finetuned metrics:
    - name: 平均Pearson type: Pearson value: 86.05
  - task: type: 文本生成 dataset: name: RoMT-Bench type: RoMT-Bench metrics:
    - name: 第一轮 type: 得分 value: 6.03
    - name: 第二轮 type: 得分 value: 4.28
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_arc_challenge type: OpenLLM-Ro/ro_arc_challenge metrics:
    - name: 0样本 type: 准确率 value: 41.90
    - name: 1样本 type: 准确率 value: 44.30
    - name: 3样本 type: 准确率 value: 44.56
    - name: 5样本 type: 准确率 value: 45.50
    - name: 10样本 type: 准确率 value: 46.10
    - name: 25样本 type: 准确率 value: 45.84
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_mmlu type: OpenLLM-Ro/ro_mmlu metrics:
    - name: 0样本 type: 准确率 value: 50.85
    - name: 1样本 type: 准确率 value: 51.24
    - name: 3样本 type: 准确率 value: 53.30
    - name: 5样本 type: 准确率 value: 53.39
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_winogrande type: OpenLLM-Ro/ro_winogrande metrics:
    - name: 0样本 type: 准确率 value: 65.19
    - name: 1样本 type: 准确率 value: 66.54
    - name: 3样本 type: 准确率 value: 67.88
    - name: 5样本 type: 准确率 value: 69.30
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_hellaswag type: OpenLLM-Ro/ro_hellaswag metrics:
    - name: 0样本 type: 准确率 value: 56.12
    - name: 1样本 type: 准确率 value: 57.37
    - name: 3样本 type: 准确率 value: 57.92
    - name: 5样本 type: 准确率 value: 58.18
    - name: 10样本 type: 准确率 value: 58.85
  - task: type: 文本生成 dataset: name: OpenLLM-Ro/ro_gsm8k type: OpenLLM-Ro/ro_gsm8k metrics:
    - name: 1样本 type: 准确率 value: 29.42
    - name: 3样本 type: 准确率 value: 30.02
    - name: 5样本 type: 准确率 value: 31.24
  - task: type: 文本生成 dataset: name: LaRoSeDa_binary type: LaRoSeDa_binary metrics:
    - name: 0样本 type: 宏F1 value: 97.43
    - name: 1样本 type: 宏F1 value: 96.60
    - name: 3样本 type: 宏F1 value: 97.90
    - name: 5样本 type: 宏F1 value: 98.13
  - task: type: 文本生成 dataset: name: LaRoSeDa_multiclass type: LaRoSeDa_multiclass metrics:
    - name: 0样本 type: 宏F1 value: 63.77
    - name: 1样本 type: 宏F1 value: 68.91
    - name: 3样本 type: 宏F1 value: 66.36
    - name: 5样本 type: 宏F1 value: 70.61
  - task: type: 文本生成 dataset: name: WMT_EN-RO type: WMT_EN-RO metrics:
    - name: 0样本 type: BLEU value: 6.92
    - name: 1样本 type: BLEU value: 29.33
    - name: 3样本 type: BLEU value: 29.79
    - name: 5样本 type: BLEU value: 30.02
  - task: type: 文本生成 dataset: name: WMT_RO-EN type: WMT_RO-EN metrics:
    - name: 0样本 type: BLEU value: 4.50
    - name: 1样本 type: BLEU value: 30.30
    - name: 3样本 type: BLEU value: 36.96
    - name: 5样本 type: BLEU value: 37.70
  - task: type: 文本生成 dataset: name: XQuAD_EM type: XQuAD_EM metrics:
    - name: 0样本 type: 精确匹配 value: 4.45
    - name: 1样本 type: 精确匹配 value: 48.24
    - name: 3样本 type: 精确匹配 value: 52.03
    - name: 5样本 type: 精确匹配 value: 53.03
  - task: type: 文本生成 dataset: name: XQuAD_F1 type: XQuAD_F1 metrics:
    - name: 0样本 type: F1 value: 26.08
    - name: 1样本 type: F1 value: 68.40
    - name: 3样本 type: F1 value: 71.92
    - name: 5样本 type: F1 value: 71.60
  - task: type: 文本生成 dataset: name: STS_Spearman type: STS_Spearman metrics:
    - name: 1样本 type: Spearman value: 77.76
    - name: 3样本 type: Spearman value: 76.72
    - name: 5样本 type: Spearman value: 77.12
  - task: type: 文本生成 dataset: name: STS_Pearson type: STS_Pearson metrics:
    - name: 1样本 type: Pearson value: 77.83
    - name: 3样本 type: Pearson value: 77.64
    - name: 5样本 type: Pearson value: 78.13