语言:

• 波兰语 许可证: Apache-2.0 库名称: transformers 标签:
• 微调
• gguf
• 8位量化 推理: 不支持 流水线标签: 文本生成 基础模型: speakleash/Bielik-4.5B-v3.0-Instruct

Bielik-4.5B-v3.0-Instruct-FP8-Dynamic

该模型通过将Bielik-4.5B-v3.0-Instruct的权重和激活量化为FP8数据类型获得，支持使用vLLM >= 0.5.0或SGLang进行推理。量化采用AutoFP8技术，将每个参数的位数从16降至8，使磁盘空间和GPU内存需求减少约50%。仅对transformer块内线性算子的权重和激活进行量化，采用对称逐张量量化方式，通过单一线性缩放映射量化权重和激活的FP8表示。

📄 技术报告: https://arxiv.org/abs/2505.02550

FP8计算需在计算能力>8.9的Nvidia GPU（Ada Lovelace、Hopper架构）上运行。

免责声明：请注意量化模型可能存在响应质量下降及幻觉现象！

vLLM部署示例

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

model_id = "speakleash/Bielik-4.5B-v3.0-Instruct-FP8-Dynamic"

sampling_params = SamplingParams(temperature=0.2, top_p=0.95, max_tokens=4096)

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {"role": "system", "content": "你是助手Bielik。"},
    {"role": "user", "content": "尼古拉·哥白尼是谁？他因什么闻名？"},
]

prompts = tokenizer.apply_chat_template(messages, tokenize=False)

llm = LLM(model=model_id, max_model_len=4096)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

vLLM同时支持OpenAI兼容服务，详见文档。

SGLang运行时使用

启动SGLang服务器：

python -m sglang.launch_server --model-path speakleash/Bielik-4.5B-v3.0-Instruct-FP8-Dynamic --port 30000

可通过HTTP请求或OpenAI兼容API调用：

import openai
client = openai.Client(
    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "你是助手Bielik。"},
        {"role": "user", "content": "尼古拉·哥白尼是谁？他因什么闻名？"},
    ],
    temperature=0,
    max_tokens=4096,
)
print(response)

模型描述:

• 开发团队: SpeakLeash与ACK Cyfronet AGH
• 语言: 波兰语
• 模型类型: 因果解码器架构
• 量化源模型: Bielik-4.5B-v3.0-Instruct
• 微调基础: Bielik-4.5B-v3
• 许可证: Apache 2.0及使用条款

量化负责人

• Remigiusz Kinas^SpeakLeash - 团队领导、方案设计、校准数据准备、流程创建及量化模型交付。

联系我们

如有疑问或建议，请使用讨论页。如需直接沟通，请加入SpeakLeash Discord。