许可证：其他 许可证名称：健康AI开发者基础条款 许可证链接：https://developers.google.com/health-ai-developer-foundations/terms 库名称：mlx 任务标签：文本生成 额外授权标题：在Hugging Face上访问MedGemma 额外授权提示：要在Hugging Face上访问MedGemma，您需要审阅并同意健康AI开发者基础使用条款。为此，请确保您已登录Hugging Face并点击下方按钮。请求将立即处理。 额外授权按钮内容：确认许可证 基础模型：google/medgemma-27b-text-it 标签：

• 医疗
• 临床推理
• 思维
• mlx

mlx-community/medgemma-27b-text-it-4bit

此模型mlx-community/medgemma-27b-text-it-4bit是从google/medgemma-27b-text-it使用mlx-lm版本0.24.1转换而来的MLX格式模型。

使用mlx

pip install mlx-lm

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/medgemma-27b-text-it-4bit")

prompt = "你好"

if tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)