license: apache-2.0
language:

• el
• en
  library_name: transformers
  pipeline_tag: text-generation

🚨 新版模型已发布

该模型已被新版v1.5取代 点击查看

Meltemi：希腊语大型基础语言模型

我们推出由雅典研究与创新中心下属的语言与语音处理研究所训练的首个希腊语大语言模型Meltemi。该模型基于Mistral-7B架构，通过对海量高质量本土希腊语文本的持续预训练扩展其能力。现发布Meltemi-7B-v1基础版及指令微调版Meltemi-7B-Instruct-v1。

模型信息

• 扩展Mistral-7B分词器以支持希腊语词汇
• 8192上下文长度
• 通过约400亿token的语料库增强希腊语能力：
  • 包含285亿希腊语单语token（来自公开资源），105亿英语单语token及6亿希腊语-英语平行语料（防止灾难性遗忘并保持双语能力）
  • 语料经过严格清洗去重（数据处理流程详见即将发表的论文），具体构成如下：

使用说明

请确保在分词输入时始终包含BOS（开始符）标记，某些评估框架可能未默认启用此设置。

性能评估

我们构建的评估套件包含6个测试集，集成于lm-eval-harness，包括：

• 四大英语基准的希腊语机器翻译版（ARC希腊语版、TruthfulQA希腊语版、HellaSwag希腊语版、MMLU希腊语版）
• 现有希腊语问答基准Belebele
• ILSP团队基于DOATAP医学考试创建的新医疗问答基准Medical MCQA

采用Open LLM排行榜同款few-shot设置进行评估。结果显示模型在希腊语测试集上平均提升**+14.9%**：

伦理声明

本模型未进行人类偏好对齐，可能产生误导性/有害/毒性内容。

致谢

ILSP团队使用亚马逊云计算服务，该资源通过OCRE Cloud框架下GRNET为希腊学术界提供。

引用

@misc{voukoutis2024meltemiopenlargelanguage,  
      title={Meltemi: The first open Large Language Model for Greek},   
      author={Leon Voukoutis and Dimitris Roussis and Georgios Paraskevopoulos and Sokratis Sofianopoulos and Prokopis Prokopidis and Vassilis Papavasileiou and Athanasios Katsamanis and Stelios Piperidis and Vassilis Katsouros},  
      year={2024},  
      eprint={2407.20743},  
      archivePrefix={arXiv},  
      primaryClass={cs.CL},  
      url={https://arxiv.org/abs/2407.20743},   
}