🚀 Alireo-400M 🤖 🇮🇹

Alireo-400M是一款轻量级的意大利语语言模型，拥有4000万个参数。它在保证高效自然语言处理能力的同时，相较于大型模型，占用的资源更少。

🚀 快速开始

文档中未提供快速开始的相关内容，可根据实际情况补充模型的使用步骤等信息。

✨ 主要特性

• 架构：基于Transformer的语言模型 🏗️
• 参数数量：4000万 📊
• 上下文窗口：8K个标记 🪟
• 训练数据：精心挑选的意大利语文本语料库（书籍、文章、网页内容） 📚
• 模型大小：约800MB 💾

📚 详细文档

模型描述 📝

Alireo-400M是一个轻量级但功能强大的意大利语语言模型，拥有4000万个参数。与大型模型相比，它在提供高效自然语言处理能力的同时，占用的资源更少。

性能表现 📈

尽管Alireo-400M体积小巧，但表现出色：

• 基准测试结果：在多个基准测试中优于Qwen 0.5B 🏆
• 语言理解：在意大利语语言理解任务中保持较高的准确率 🎯
• 速度：由于架构经过优化，推理速度快 ⚡

局限性 ⚠️

• 与大型模型相比，上下文窗口有限。
• 处理高度专业化的技术内容时可能会遇到困难。
• 在处理方言变体时，性能可能会有所不同。
• 不适合多语言任务。

硬件要求 💻

• 最小内存：2GB
• 推荐内存：4GB
• GPU：可选，但为了加快推理速度，建议使用。
• 磁盘空间：约1GB（包括模型和依赖项）

📄 许可证

该模型采用Apache-2.0许可证。

📄 引用

@software{alireo2024,
  author = {[Michele Montebovi]},
  title = {Alireo-400M: A Lightweight Italian Language Model},
  year = {2024},
}

训练数据集

• DeepMount00/o1-ITA-REASONING
• DeepMount00/GPT-4o-ITA-INSTRUCT
• DeepMount00/Sonnet-3.5-ITA-INSTRUCT
• DeepMount00/open-perfectblend-ita
• HuggingFaceTB/cosmopedia
• DeepMount00/pretraining_multi