许可证：其他
许可证名称：健康AI开发者基础条款
许可证链接：https://developers.google.com/health-ai-developer-foundations/terms
库名称：mlx
任务标签：文本生成
额外授权标题：在Hugging Face上访问MedGemma
额外授权提示：要访问Hugging Face上的MedGemma，您需要阅读并同意健康AI开发者基础使用条款。请确保已登录Hugging Face账号并点击下方按钮。申请将即时处理。
额外授权按钮内容：确认许可
基础模型：google/medgemma-27b-text-it
标签：

• 医疗
• 临床推理
• 思维
• mlx

mlx-community/medgemma-27b-text-it-8bit

此模型mlx-community/medgemma-27b-text-it-8bit是从google/medgemma-27b-text-it转换而来，使用了0.24.1版本的mlx-lm工具。

使用MLX运行

pip install mlx-lm  

from mlx_lm import load, generate  

model, tokenizer = load("mlx-community/medgemma-27b-text-it-8bit")  

prompt = "你好"  

if tokenizer.chat_template is not None:  
    messages = [{"role": "user", "content": prompt}]  
    prompt = tokenizer.apply_chat_template(  
        messages, add_generation_prompt=True  
    )  

response = generate(model, tokenizer, prompt=prompt, verbose=True)