license: apache-2.0 language:

• 希腊语
• 英语 tags:
  • 微调模型 inference: true pipeline_tag: 文本生成

🚨 新版模型已发布

该模型已被新版v1.5取代 点击查看

希腊语大语言模型Meltemi Instruct

我们推出Meltemi-7B-Instruct-v1大语言模型（LLM），这是Meltemi-7B-v1的指令微调版本。

模型信息

• 在Mistral-7b分词器基础上扩展了希腊语词汇
• 支持8192上下文长度
• 使用10万条希腊语机器翻译指令进行微调，数据来源包括：
  • Open-Platypus（仅采用许可协议宽松的子集）
  • Evol-Instruct
  • Capybara
  • 手工构建的希腊语多轮对话数据集，引导模型生成安全无害的响应
• 监督微调流程基于Hugging Face微调方案

指令格式

提示词格式与Zephyr相同，可通过分词器的聊天模板功能实现：

from transformers import AutoModelForCausalLM, AutoTokenizer

device = "cuda" # 指定模型加载设备

model = AutoModelForCausalLM.from_pretrained("ilsp/Meltemi-7B-Instruct-v1")
tokenizer = AutoTokenizer.from_pretrained("ilsp/Meltemi-7B-Instruct-v1")

model.to(device)

messages = [
    {"role": "system", "content": "你是Meltemi，一个希腊语语言模型。你需要特别友善地帮助用户，提供简洁但内容完整的回答。回答时需注意保持谨慎、礼貌、公正、诚实并尊重用户。"},
    {"role": "user", "content": "告诉我你是否有意识"},
]

# 默认聊天模板会转换为：
#
# <|system|>
# 你是Meltemi...(系统提示内容)</s>
# <|user|>
# 告诉我你是否有意识</s>
# <|assistant|>
#

prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)
input_prompt = tokenizer(prompt, return_tensors='pt').to(device)
outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)

print(tokenizer.batch_decode(outputs)[0])
# 作为AI语言模型，我无法感知或体验如意识或觉知这类情感。但我可以帮助解答您关于人工智能及其应用的任何问题。

messages.extend([
    {"role": "assistant", "content": tokenizer.batch_decode(outputs)[0]},
    {"role": "user", "content": "你认为人类应该害怕人工智能吗？"}
])

# 继续对话示例...(后续代码类似)

请确保分词后的提示始终包含BOS标记。某些评估或微调框架可能默认不包含该标记。

评估

我们创建的评估套件包含6个测试集，集成于lm-eval-harness。

评估套件包括：

• 四个希腊语机器翻译基准（ARC希腊语版、TruthfulQA希腊语版、HellaSwag希腊语版、MMLU希腊语版）
• 现有希腊语问答基准(Belebele)
• ILSP团队基于DOATAP医学考试创建的新医学问答基准(Medical MCQA)。

评估采用小样本设置，与Open LLM排行榜一致。结果显示训练使希腊测试集平均性能提升**+14.9%**：

伦理考量

本模型未进行人类偏好对齐，可能生成误导性、有害或有毒内容。

致谢

ILSP团队使用了亚马逊云计算服务，该服务通过OCRE Cloud框架下的GRNET为希腊学术研究界提供。

引用

@misc{voukoutis2024meltemiopenlargelanguage,
      title={Meltemi：首个希腊语开源大语言模型}, 
      author={Leon Voukoutis等},
      year={2024},
      eprint={2407.20743},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2407.20743}, 
}