语言:

• 波兰语 许可证: apache-2.0 库名称: transformers 标签:
• 微调
• gguf
• 8位量化 推理: 不支持 管道标签: 文本生成 基础模型: speakleash/Bielik-1.5B-v3.0-Instruct

Bielik-1.5B-v3.0-Instruct-FP8-Dynamic动态量化版

本模型通过对Bielik-1.5B-v3.0-Instruct的权重和激活值进行FP8数据类型量化获得，适配vLLM >= 0.5.0或SGLang推理框架。采用AutoFP8量化技术，将参数字节数从16位降至8位，磁盘空间和GPU显存需求降低约50%。仅对transformer块内线性运算符的权重和激活值进行量化，采用对称逐张量量化方案，通过单一线性缩放映射量化后的FP8表征。

📜 技术报告: https://arxiv.org/abs/2505.02550

FP8计算需搭载计算能力>8.9的Nvidia GPU（Ada Lovelace/Hopper架构）。

免责声明：量化模型可能存在响应质量下降及幻觉风险！

vLLM部署示例

from vllm import LLM, SamplingParams
from transformers import AutoTokenizer

model_id = "speakleash/Bielik-1.5B-v3.0-Instruct-FP8-Dynamic"

sampling_params = SamplingParams(temperature=0.2, top_p=0.95, max_tokens=4096)

tokenizer = AutoTokenizer.from_pretrained(model_id)

messages = [
    {"role": "system", "content": "你是Bielik智能助手"},
    {"role": "user", "content": "尼古拉·哥白尼是谁？他因何闻名？"},
]

prompts = tokenizer.apply_chat_template(messages, tokenize=False)

llm = LLM(model=model_id, max_model_len=4096)

outputs = llm.generate(prompts, sampling_params)

generated_text = outputs[0].outputs[0].text
print(generated_text)

vLLM同时支持OpenAI兼容服务，详见官方文档。

SGLang运行时部署

启动服务端：

python -m sglang.launch_server --model-path speakleash/Bielik-1.5B-v3.0-Instruct-FP8-Dynamic --port 30000

通过HTTP请求或OpenAI兼容API调用：

import openai
client = openai.Client(
    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")

response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "你是Bielik智能助手"},
        {"role": "user", "content": "尼古拉·哥白尼是谁？他因何闻名？"},
    ],
    temperature=0,
    max_tokens=4096,
)
print(response)

模型信息

• 开发团队: SpeakLeash & ACK Cyfronet AGH
• 语言: 波兰语
• 模型类型: 因果解码器架构
• 量化源模型: Bielik-1.5B-v3.0-Instruct
• 基础模型: Bielik-1.5B-v3
• 许可证: Apache 2.0及使用条款

量化负责人

• Remigiusz Kinas^SpeakLeash - 团队领导、方案设计、校准数据准备、流程构建及量化模型交付

联系我们

如有疑问或建议，请使用讨论页功能。如需直接沟通，欢迎加入SpeakLeash Discord社区。