library_name: transformers tags: []

模型ID说明文档

本模型是Qwen2-Audio-7B-Instruct的4位量化版本 (https://huggingface.co/Qwen/Qwen2-Audio-7B-Instruct)

模型详情

模型描述

这是托管在Hugging Face Hub上的transformers模型说明文档，本说明文档为自动生成。

• 开发背景: 基于阿里巴巴云原版Qwen模型开发
• 模型类型: 音频-文本多模态大语言模型

模型来源

• 代码仓库: https://huggingface.co/Qwen/Qwen2-Audio-7B-Instruct

使用场景

4位量化技术可降低内存占用，在资源有限的硬件上可能实现更快的推理速度。 但相比全精度模型，性能可能会有轻微下降。

偏差、风险与限制

需要GPU支持

快速开始

使用说明和代码示例请参考Hugging Face上的Qwen2-Audio-7B-Instruct模型页面。

使用本模型需要安装transformers库，以及支持4位量化的bitsandbytes组件。

基础使用示例：

import torch
from io import BytesIO
from urllib.request import urlopen
import librosa
from transformers import Qwen2AudioForConditionalGeneration, AutoProcessor, BitsAndBytesConfig

processor = AutoProcessor.from_pretrained("alicekyting/Qwen2-Audio-7B-Instruct-4bit")
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_compute_dtype=torch.float16
)
model = Qwen2AudioForConditionalGeneration.from_pretrained(
    "alicekyting/Qwen2-Audio-7B-Instruct-4bit",
    device_map="auto",
    quantization_config=bnb_config
)

conversation = [
    {'role': 'system', 'content': '你是一个乐于助人的助手。'},
    {"role": "user", "content": [
        {"type": "audio", "audio_url": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2-Audio/audio/glass-breaking-151256.mp3"},
        {"type": "text", "text": "这是什么声音？"},
    ]},
    {"role": "assistant", "content": "这是玻璃破碎的声音。"},
    {"role": "user", "content": [
        {"type": "text", "text": "听到这个声音应该怎么做？"},
    ]},
    {"role": "assistant", "content": "保持警惕，检查是否有人受伤或财产受损。"},
    {"role": "user", "content": [
        {"type": "audio", "audio_url": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen2-Audio/audio/1272-128104-0000.flac"},
        {"type": "text", "text": "说话者在说什么？"},
    ]},
]
text = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=False)
audios = []
for message in conversation:
    if isinstance(message["content"], list):
        for ele in message["content"]:
            if ele["type"] == "audio":
                audios.append(
                    librosa.load(
                        BytesIO(urlopen(ele['audio_url']).read()),
                        sr=processor.feature_extractor.sampling_rate,
                        mono=True
                    )[0]
                )

inputs = processor(text=text, audios=audios, return_tensors="pt", padding=True)
inputs = {k: v.to(model.device) for k, v in inputs.items()}

generate_ids = model.generate(**inputs, max_length=256)
generate_ids = generate_ids[:, inputs['input_ids'].size(1):]

response = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
print(response)