许可协议: mit
数据集:

• mlabonne/FineTome-100k
• efederici/capybara-claude-15k-ita
  语言:
• 意大利语
• 英语
  库名称: transformers
  流水线标签: 文本生成
  基础模型: microsoft/Phi-3.5-mini-instruct
  标签:
• trl
• phi3
• spectrum

Phi-3.5-mini-ITA

基于Microsoft/Phi-3.5-mini-instruct微调的版本，优化了意大利语性能。

🔹 小巧但强大的模型，拥有38.2亿参数
🔹 支持128k上下文长度

• 💬🇮🇹 在Hugging Face Spaces上与模型聊天
• GGUF量化版本

🏋️‍♂️ 想了解模型是如何训练的吗？
查看📖 完整教程文章及配套的💻 笔记本

🏆 评估

意大利语LLM公开排行榜

详情

Pinocchio意大利语排行榜

详情

🎮 模型实战

演示

💬🇮🇹 在Hugging Face Spaces上与模型聊天

使用Transformers生成文本

模型小巧，可在Colab上流畅运行。也可使用量化加载模型。

使用transformers==4.44.2时，需设置trust_remote_code=True以修复Phi3ForCausalLM中的小问题。
详情参阅此讨论。

⚡ 模型兼容Flash Attention 2，可加速推理。启用需取消下方代码片段中attn_implementation参数的注释。

# pip install transformers accelerate  
import torch  
from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer  

model_id="anakin87/Phi-3.5-mini-ITA"  

model = AutoModelForCausalLM.from_pretrained(  
    model_id,   
    device_map="auto",  
    torch_dtype=torch.bfloat16,  
    trust_remote_code=True,  
    # attn_implementation="flash_attention_2",  # 取消注释以使用Flash Attention 2  
)  
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)  

pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)  

user_input = "你能简要解释一下意大利语中未完成时和近过去时的区别及使用场景吗？"  
messages = [{"role": "user", "content": user_input}]  
outputs = pipe(user_input, max_new_tokens=500, do_sample=True, temperature=0.001)  
print(outputs[0]["generated_text"])  

示例输出：

当然！未完成时和近过去时是意大利语中两种表示过去动作的时态，但含义不同。  

未完成时：  
- 用于描述过去持续或重复发生的动作  
- 表示无明确终点的动作或习惯性行为  
- 常用于描述过去的状态或情境  
- 例："小时候我常在公园玩耍"  

近过去时：  
- 用于描述已完成的过去动作  
- 表示发生在特定时间点的动作  
- 常用于描述有明确持续时间的事件  
- 例："昨天我读完了那本书"  

简言之，未完成时描述过去持续/习惯性动作，近过去时描述已完成的特定动作。  

构建AI应用

可用该模型开发各类AI应用。

推荐使用🏗️ Haystack LLM框架进行编排。
（剧透：我是其开源贡献者😄）

该模型兼容HuggingFaceLocalGenerator和HuggingFaceLocalChatGenerator组件。
也可通过TGI容器部署模型，再使用HuggingFaceAPIGenerator及相关聊天生成器。

参考案例：

• 本地开源模型RAG
• 网站摘要生成
• 多语言RAG

🔧 训练细节

本模型使用HF TRL微调。
在FineTome-100k和Capybara-Claude-15k-ita数据集上进行了2轮指令微调。🙏 感谢数据集作者。

采用新型参数高效学习技术：Spectrum。
其核心是仅训练高信噪比(SNR)的模型层，❄️ 冻结其余部分。

单块A6000 GPU训练耗时约14小时。

完整训练细节请参阅📖 教程文章及💻 训练笔记本。