许可协议: cc-by-nc-4.0 语言:

• 英文 库名称: transformers

欢迎加入xGen-small家族！

xGen-small（博客、arXiv）是一款企业级紧凑型语言模型，通过领域聚焦的数据整理、可扩展的预训练、长度扩展和强化学习微调，以可预测的低成本实现长上下文性能表现。本模型版本仅供研究用途。

模型系列

xGen-small提供两种规格（4B和9B）及两种变体（预训练版与后训练版）：

使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Salesforce/xgen-small-9B-instruct-r"
tokenizer = AutoTokenizer.from_pretrained(model_name)
device = "cuda" if torch.cuda.is_available() else "cpu"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto"
).to(device)

prompt = "什么是Salesforce？"
messages = [{"role": "用户", "content": prompt}]
inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

generated = model.generate(inputs, max_new_tokens=128)
output = tokenizer.decode(
    generated[0],
    skip_special_tokens=True,
)
print(output)

性能评估

引用文献

@misc{xgensmall,
      title={xGen-small技术报告}, 
      author={Erik Nijkamp and Bo Pang and Egor Pakhomov and Akash Gokul and Jin Qu and Silvio Savarese and Yingbo Zhou and Caiming Xiong},
      year={2025},
      eprint={2505.06496},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2505.06496}, 
}

伦理考量

本次发布仅为支持学术论文的研究用途。我们的模型、数据集和代码并非针对所有下游用途专门设计或评估。我们强烈建议用户在部署前评估并解决与准确性、安全性和公平性相关的潜在问题。我们鼓励用户考虑AI的普遍局限性，遵守适用法律，在选择应用场景时采用最佳实践，特别是对于可能显著影响人们生活、权利或安全的高风险场景。更多使用指南请参阅我们的《可接受使用政策》和《AI可接受使用政策》。

模型许可

本模型采用CC-BY-NC-4.0协议发布，版权归©Salesforce公司所有。保留所有权利。