语言:

• 意大利语 许可证:
• Apache-2.0 标签:
• 文本生成推理
• 文本生成 数据集:
• DeepMount00/llm_ita_ultra

意大利语文本生成的Mistral-7B-v0.1模型

模型架构

• 基础模型: Mistral-7B-v0.1
• 专门化: 意大利语

评估

如需详细了解模型性能比较，请查看意大利语模型排行榜。

以下是性能指标的详细分解：

提供4位量化版本

该模型的4位量化版本可供使用。此版本通过将模型计算精度降低至4位，提供了更高效的处理能力，可带来更快的性能和减少内存使用。这对于在计算能力或内存资源有限的设备上部署模型特别有用。

更多详情及访问模型，请访问以下链接：Mistral-Ita-7b-GGUF 4位版本。

使用方法

如何使用我的Mistral模型进行意大利语文本生成

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

MODEL_NAME = "DeepMount00/Mistral-Ita-7b"

model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, torch_dtype=torch.bfloat16).eval()
model.to(device)
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)

def generate_answer(prompt):
    messages = [
        {"role": "user", "content": prompt},
    ]
    model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(device)
    generated_ids = model.generate(model_inputs, max_new_tokens=200, do_sample=True,
                                          temperature=0.001, eos_token_id=tokenizer.eos_token_id)
    decoded = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)
    return decoded[0]

prompt = "Come si apre un file json in python?"
answer = generate_answer(prompt)
print(answer)

开发者

[米凯莱·蒙特博维]