🚀 希腊语Meltemi指令大语言模型

Meltemi 7B Instruct v1.5大语言模型（LLM）是Meltemi 7B v1.5的全新改进版指令微调模型。它为希腊语的自然语言处理带来了更高效、更准确的解决方案。

✨ 主要特性

• 词汇扩展：对Mistral 7b分词器进行了希腊语词汇扩展，降低了成本并加快了推理速度（希腊语的分词效率从每词6.80个标记提升至1.52个标记）。
• 长上下文处理能力：具备8192的上下文长度，能够处理更复杂的文本输入。
• 微调算法：采用Odds Ratio Preference Optimization (ORPO)算法进行微调，使用了97k偏好数据，其中包括89,730条希腊语偏好数据（大多是Hugging Face上高质量数据集的翻译版本）和7,342条英语偏好数据。
• 对齐程序：基于TRL - Transformer Reinforcement Learning库，并部分参考了Hugging Face微调指南。

📦 安装指南

暂未提供相关安装步骤，可参考模型在Hugging Face上的官方文档获取详细安装信息。

💻 使用示例

基础用法

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 加载模型的设备

model = AutoModelForCausalLM.from_pretrained("ilsp/Meltemi-7B-Instruct-v1.5")
tokenizer = AutoTokenizer.from_pretrained("ilsp/Meltemi-7B-Instruct-v1.5")

model.to(device)

messages = [
    {"role": "system", "content": "Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη."},
    {"role": "user", "content": "Πες μου αν έχεις συνείδηση."},
]

# 通过默认聊天模板转换为以下格式
#
# <|system|>
# Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη.</s>
# <|user|>
# Πες μου αν έχεις συνείδηση.</s>
# <|assistant|>
#

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)

print(tokenizer.batch_decode(outputs)[0])
# Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της.

messages.extend([
    {"role": "assistant", "content": tokenizer.batch_decode(outputs)[0]},
    {"role": "user", "content": "Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;"}
])

# 通过默认聊天模板转换为以下格式
#
# <|system|>
# Είσαι το Μελτέμι, ένα γλωσσικό μοντέλο για την ελληνική γλώσσα. Είσαι ιδιαίτερα βοηθητικό προς την χρήστρια ή τον χρήστη και δίνεις σύντομες αλλά επαρκώς περιεκτικές απαντήσεις. Απάντα με προσοχή, ευγένεια, αμεροληψία, ειλικρίνεια και σεβασμό προς την χρήστρια ή τον χρήστη.</s>
# <|user|>
# Πες μου αν έχεις συνείδηση.</s>
# <|assistant|>
# Ως μοντέλο γλώσσας AI, δεν έχω τη δυνατότητα να αντιληφθώ ή να βιώσω συναισθήματα όπως η συνείδηση ή η επίγνωση. Ωστόσο, μπορώ να σας βοηθήσω με οποιεσδήποτε ερωτήσεις μπορεί να έχετε σχετικά με την τεχνητή νοημοσύνη και τις εφαρμογές της.</s>
# <|user|>
# Πιστεύεις πως οι άνθρωποι πρέπει να φοβούνται την τεχνητή νοημοσύνη;</s>
# <|assistant|>
#

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)

print(tokenizer.batch_decode(outputs)[0])

注意事项

请确保在分词后的提示中始终包含BOS标记。在某些评估或微调框架中，这可能不是默认设置。

📚 详细文档

指令格式

提示格式与Zephyr格式相同，可通过分词器的聊天模板功能实现，具体示例见上述代码。

评估

评估套件包含6个测试集，基于lighteval框架的分支实现。评估在少样本设置下进行，与Open LLM排行榜的设置一致。

评估结果显示，Meltemi 7B Instruct v1.5的新训练和微调程序使所有希腊语测试集的性能平均提升了**+7.8%**，具体结果如下表所示：

🔧 技术细节

模型信息

评估套件

评估套件包含以下测试集：

• 四个英语基准测试的机器翻译版本：ARC希腊语版、真实问答希腊语版、HellaSwag希腊语版、MMLU希腊语版
• 一个现有的希腊语问答基准：Belebele
• 一个由ILSP团队创建的基于DOATAP医学考试的医学问答基准：医学多选问答希腊语版

📄 许可证

本模型采用Apache-2.0许可证。

⚠️ 重要提示

本模型已与人类偏好对齐，但仍可能生成误导性、有害和有毒的内容。使用时请谨慎评估输出结果。

💡 使用建议

在使用模型进行推理时，可根据具体任务调整max_new_tokens和do_sample等参数，以获得更符合需求的输出。

致谢

ILSP团队使用了亚马逊的云计算服务，该服务通过GRNET在OCRE云框架下为希腊学术和研究社区提供。

引用

@misc{voukoutis2024meltemiopenlargelanguage,
      title={Meltemi: The first open Large Language Model for Greek}, 
      author={Leon Voukoutis and Dimitris Roussis and Georgios Paraskevopoulos and Sokratis Sofianopoulos and Prokopis Prokopidis and Vassilis Papavasileiou and Athanasios Katsamanis and Stelios Piperidis and Vassilis Katsouros},
      year={2024},
      eprint={2407.20743},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.20743}, 
}