许可证：gemma
语言：

• 意大利语
• 英语
  基础模型：
• VAGOsolutions/SauerkrautLM-gemma-2-9b-it
  任务标签：文本生成
  库名称：transformers
  数据集：
• mii-llm/argilla-math-preferences-it
• ruggsea/wsdm2024-cot-dataset
• anakin87/evol-dpo-ita-reranked
• mlabonne/orpo-dpo-mix-40k

Gemma 2 9B 意大利语新生代

基于VAGOsolutions/SauerkrautLM-gemma-2-9b-it微调的版本，优化了意大利语性能表现。

• 优质模型，92.4亿参数
• 支持8k上下文长度

GGUF量化版本

需要更小模型？ 试试gemma-2-2b-neogenesis-ita

🎮 使用方式

💬🇮🇹 在Hugging Face Spaces体验模型

使用Transformers进行文本生成

import torch
from transformers import pipeline

model_id="anakin87/gemma-2-9b-neogenesis-ita"

pipe = pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [{"role": "user", "content": "Cos'è l'interesse composto? Spiega in maniera semplice e chiara."}]
outputs = pipe(messages, max_new_tokens=500)

print(outputs[0]["generated_text"][1]["content"])

🏆 评估结果

本模型已提交至意大利大语言模型权威榜单Open Ita LLM Leaderboard进行评估。

评估结果表明，本模型是意大利语9B级模型中的佼佼者，性能超越13-14B级模型，甚至优于部分30-70B范围的模型。

🔧 训练细节

使用Hugging Face TRL框架并采用直接偏好优化(DPO)进行微调。

采用创新参数高效学习技术Spectrum：仅训练信噪比(SNR)较高的模型层❄️冻结其余部分。具体聚焦于信息量最高的前20%层级。

批次大小：16；学习率：1e-6；训练轮次：1。

在单张NVIDIA A100 GPU（80GB显存）上耗时约12小时完成训练。

训练代码详见📓 Kaggle笔记本中的DPO章节，已针对不同基础模型和超参数进行调整，且未使用策略数据。

🗃️ 训练数据

训练数据以意大利语为主，包含少量英语语料。

直接偏好优化数据来源：

• 意大利语数据
  • mii-llm/argilla-math-preferences-it
  • ruggsea/wsdm2024-cot-dataset
  • anakin87/evol-dpo-ita-reranked
• 英语数据
  • mlabonne/orpo-dpo-mix-40k

🙏 感谢数据集作者的贡献

🛡️ 安全性

虽然未专门针对安全性进行微调，但通过Spectrum技术选择性训练保留了原始模型的部分安全特性。