库名称: transformers # 指定库 数据集:

• HiTZ/latxa-corpus-v1.1 语言:
• 巴斯克语(eu)
• 英语(en) 评估指标:
• 准确率 任务标签: 文本生成 模型索引:
• 名称: Latxa-Llama-3.1-8B-Instruct 结果:
  • 任务: 类型: 多项选择 数据集: 名称: xstory_cloze 类型: XStory 指标:
    • 名称: 准确率(5样本) 类型: 准确率(5样本) 值: 71.34
  • 任务: 类型: 多项选择 数据集: 名称: belebele 类型: Belebele 指标:
    • 名称: 准确率(5样本) 类型: 准确率(5样本) 值: 80
  • 任务: 类型: 多项选择 数据集: 名称: eus_proficiency 类型: EusProficiency 指标:
    • 名称: 准确率(5样本) 类型: 准确率(5样本) 值: 52.83
  • 任务: 类型: 多项选择 数据集: 名称: eus_reading 类型: EusReading 指标:
    • 名称: 准确率(5样本) 类型: 准确率(5样本) 值: 59.66
  • 任务: 类型: 多项选择 数据集: 名称: eus_trivia 类型: EusTrivia 指标:
    • 名称: 准确率(5样本) 类型: 准确率(5样本) 值: 61.05
  • 任务: 类型: 多项选择 数据集: 名称: eus_exams 类型: EusExams 指标:
    • 名称: 准确率(5样本) 类型: 准确率(5样本) 值: 56

许可证: llama3.1 基础模型:

• meta-llama/Llama-3.1-8B-Instruct

二氧化碳当量排放: 排放量: 277520 来源: "CodeCarbon" 训练类型: "预训练" 地理位置: "欧盟西部" 使用硬件: "128块A100 GPU"

HiTZ/Latxa-Llama-3.1-8B-Instruct模型卡

我们推出Latxa 3.1 8B Instruct版本，这是Latxa的指令调优版本。新版Latxa基于Llama-3.1(Instruct)架构，使用巴斯克语语料库(Etxaniz等人，2024)进行训练，该语料包含430万文档和42亿词元，采用语言适应技术(论文筹备中)。

[!警告] 免责声明

本模型仍在开发中。 详细训练信息将随研究论文在近期发布。

初步实验表明，Latxa 3.1 8B Instruct在巴斯克标准基准测试上大幅超越Llama-3.1-Instruct，尤其在对话场景表现突出。我们还组织了公开竞技场评估，Latxa与GPT-4o和Claude Sonnet等商业模型同台竞技，结果显示Latxa位列第三，仅次于Claude和GPT-4，优于同规模竞品。 正式论文即将发布。

模型详情

模型描述

Latxa是基于Meta LLaMA模型系列的大语言模型(LLM)。当前LLM在英语等高资源语言表现卓越，但对巴斯克语等低资源语言的表现接近随机猜测。这种局限加剧了数字时代高/低资源语言间的鸿沟。Latxa旨在突破这些限制，推动巴斯克语LLM技术与研究发展。Latxa模型保持原始架构，并在Latxa Corpus v1.1巴斯克高质量语料上继续训练。

• 开发机构: 巴斯克大学HiTZ研究中心 & IXA研究组
• 模型类型: 语言模型
• 支持语言: 巴斯克语(eu)
• 许可证: llama3.1
• 父模型: meta-llama/Llama-3.1-8B-Instruct
• 联系方式: hitz@ehu.eus

快速开始

使用以下代码加载模型：

from transformers import pipeline

pipe = pipeline('text-generation', model='HiTZ/Latxa-Llama-3.1-8B-Instruct')

messages = [
	{'role': '用户', 'content': '你好！'},
]

pipe(messages)

>>
[
  {
    '生成文本': [
      {'role': '用户', 'content': '你好！'},
      {'role': '助手', 'content': '你好！最近怎么样？有什么需要帮助的吗？'}
    ]
  }
]

用途

Latxa模型专为巴斯克语设计，其他语言性能不作保证。与原始模型相同，Latxa遵循Llama-3.1许可证，允许商业和研究使用。

直接使用

Latxa Instruct模型适用于指令跟随或作为聊天助手。

非适用场景

禁止用于恶意活动或侵犯人权行为。下游应用须符合现行法律法规。不建议在未进行风险评估的生产环境中直接使用。

偏见、风险与限制

为减少有害内容，Latxa训练数据精选自本地媒体、报刊、百科全书和博客(参见Latxa Corpus v1.1)。但由于基于Llama 3.1，可能继承相同偏见和限制。详见Llama伦理考量文档。

训练详情

[!警告] 免责声明

详细训练信息将随研究论文在近期发布。

评估

我们在5样本设置下评估多项选择任务，使用各数据集的巴斯克语部分。竞技场评估结果将后续公布。

测试数据、因素与指标

测试数据

• Belebele(Bandarkar等): 涵盖122种语言的机器阅读理解数据集，采用5样本评估。
  • 数据卡: https://huggingface.co/datasets/facebook/belebele
• X-StoryCloze(Lin等): 专业翻译的StoryCloze数据集，含10种非英语版本，需要为四句故事选择合理结局。
  • 数据卡: https://huggingface.co/datasets/juletxara/xstory_cloze
• EusProficiency(Etxaniz等，2024): 包含5,169道巴斯克C1水平(EGA)考试真题。
  • 数据卡: https://huggingface.co/datasets/HiTZ/EusProficiency
• EusReading(Etxaniz等，2024): 352篇EGA考试阅读理解题。
  • 数据卡: https://huggingface.co/datasets/HiTZ/EusReading
• EusTrivia(Etxaniz等，2024): 1,715道巴斯克知识问答，56.3%为小学难度(3-6年级)。
  • 数据卡: https://huggingface.co/datasets/HiTZ/EusTrivia
• EusExams(Etxaniz等，2024): 巴斯克公共机构(如Osakidetza医疗系统、巴斯克政府等)招考试题库。
  • 数据卡: https://huggingface.co/datasets/HiTZ/EusExams

指标

使用准确率评估多项选择题。

结果

环境影响

碳排放估算使用Lacoste等(2019)提出的机器学习碳足迹计算器。

• 硬件类型: HPC集群，4节点×32块A100 64GB显卡
• 总GPU时数: 2,336小时
• 云服务商: CINECA HPC
• 计算区域: 意大利
• 碳排放量: 277.52千克CO2当量

致谢

本研究获巴斯克政府(IKER-GAITU项目)部分支持，并由西班牙数字化转型与公共职能部通过EU-NextGenerationEU基金(项目编号2022/TL22/00215335)资助。模型在CINECA的Leonardo超算上训练，受EuroHPC联合计划支持(EHPC-EXT-2023E01-013项目)。

引用

即将发布。目前可参考：

@misc{etxaniz2024latxa,
  	title={{L}atxa: 巴斯克语开源语言模型与评估套件},
  	author={Julen Etxaniz and Oscar Sainz and Naiara Perez and Itziar Aldabe and German Rigau and Eneko Agirre and Aitor Ormazabal and Mikel Artetxe and Aitor Soroa},
  	year={2024},
  	eprint={2403.20266},
  	archivePrefix={arXiv},
  	primaryClass={cs.CL}
}