license: apache-2.0 tags:

• 微调模型
• 对话系统
• 易量化
• GGUF格式
• AWQ量化
• 易量化技术
• AWQ算法 language:
• 英语
• 韩语
• 日语
• 中文 pipeline_tag: 文本生成 library_name: transformers base_model:
• trillionlabs/Trillion-7B-preview

Trillion-7B预览版

模型介绍

我们推出Trillion-7B预览版，这是我们最新大语言模型的先行版本，旨在突破多语言扩展与性能的边界。

在计算效率对比中，Trillion-7B预览版以约9.3×10²² FLOPs的训练计算量，实现了66.5%的平均性能表现，显著优于Mistral-7B-Instruct-v0.3和SOLAR-10.7B-Instruct-v1.0等竞品，并与计算量需求高出3-8倍的Qwen2.5-7B-Instruct、EXAONE-3.5-7.8B-Instruct等模型保持竞争力。完整基准测试结果详见下方表格。

• 模型类型：因果语言模型
• 训练阶段：预训练 & 后训练
• 架构：采用RoPE位置编码、SwiGLU激活、RMSNorm的Transformer解码器
• 参数量：77.6亿
• 层数：32
• 注意力头数：32
• 上下文长度：4,096 tokens
• 训练token量：2万亿
• 词表大小：128,128

快速开始

以下代码示例展示如何使用apply_chat_template加载分词器与模型并生成文本：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "trillionlabs/Trillion-7B-preview"

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "讲个超级搞笑的敲门笑话。"
messages = [
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

generated_ids = model.generate(
    model_inputs["input_ids"],
    attention_mask=model_inputs["attention_mask"],
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)

"""
没问题！来个经典敲门笑话保证让你笑出声：
咚咚咚。
谁呀？
生菜。
生菜谁？
生菜开门啦，外面太冷了！
"""

性能评估

我们选取了涵盖通用推理、知识检索、编程能力、数学推理和指令遵循的多样化基准测试集。在与同类大语言模型的对比中，Trillion-7B预览版尤其在韩语基准测试中表现突出。

基准测试结果

对比模型：

• Trillion-7B-preview
• LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct
• google/gemma-2-9b-it
• meta-llama/Llama-3.1-8B-Instruct
• Qwen/Qwen2.5-7B-Instruct
• upstage/SOLAR-10.7B-Instruct-v1.0
• mistralai/Mistral-7B-Instruct-v0.3

通用推理与事实性

编程能力

数学推理

指令遵循与对话

局限性

• 语言支持：主要优化英语、韩语、日语和中文，其他语言可能性能下降
• 知识截止：模型信息更新至2023年8月
• 安全机制：当前版本未完全集成安全防护功能，后续版本将完善
• 发布状态：此为预览版本，后续将推出功能增强的更新

许可协议

本模型遵循Apache-2.0开源协议。

引用

@article{trillion7Bpreview,
  title={Trillion-7B-preview},
  author={trillionlabs},
  year={2025},
  url={https://huggingface.co/trillionlabs/Trillion-7B-preview}
}

联系我们

咨询邮箱：info@trillionlabs.co