库名称：transformers 许可证：cc-by-nc-4.0

📝 论文 • 🤗 Hugging Face • 🧩 Github • 🪄 项目

✨ 最新动态

• [2024年4月29日]: 模型已在Hugging Face发布。

🎬 快速开始

import io

import requests
import torch
from PIL import Image
from transformers import AutoModelForCausalLM, AutoTokenizer

# 第一步：设置常量
model_name = "StanfordAIMI/CheXagent-2-3b"
dtype = torch.bfloat16
device = "cuda"

# 第二步：加载处理器和模型
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", trust_remote_code=True)
model = model.to(dtype)
model.eval()

# 第三步：推理
query = tokenizer.from_list_format([*[{'image': path} for path in paths], {'text': prompt}])
conv = [{"from": "system", "value": "你是一个乐于助人的助手。"}, {"from": "human", "value": query}]
input_ids = tokenizer.apply_chat_template(conv, add_generation_prompt=True, return_tensors="pt")
output = model.generate(
    input_ids.to(device), do_sample=False, num_beams=1, temperature=1., top_p=1., use_cache=True,
    max_new_tokens=512
)[0]
response = tokenizer.decode(output[input_ids.size(1):-1])

✏️ 引用

@article{chexagent-2024,
  title={CheXagent：迈向胸部X光解读的基础模型},
  author={陈志宏、玛雅·瓦尔玛、让-贝努瓦·德尔布鲁克、玛格达利尼·帕斯查利、路易斯·布兰克迈尔、戴夫·范·维恩、杰亚·玛丽亚·何塞·瓦拉纳拉苏、阿拉·优素福、约瑟夫·保罗·科恩、爱德华多·庞特斯·雷斯、艾米丽·B·蔡、安德鲁·约翰斯顿、卡梅伦·奥尔森、塔尼什·马修·亚伯拉罕、塞尔吉奥斯·加蒂迪斯、阿克谢·S·乔杜里、柯蒂斯·朗洛茨},
  journal={arXiv预印本 arXiv:2401.12208},
  url={https://arxiv.org/abs/2401.12208},
  year={2024}
}