许可证：其他 数据集：

• Chinese-Vicuna/guanaco_belle_merge_v1.0 语言：
• 中文 标签：
• 对话式
• 生成
• qlora 管道标签：对话式

Anima融合版

首个基于QLoRA的开源33B中文大语言模型

许可证

重要提示：本模型采用特殊许可证，请确保您的使用场景符合许可条款。

GitHub仓库：

https://github.com/lyogavin/Anima

🚀模型训练

基座模型选择

Anima模型基于QLoRA开源的33B guanaco进行了10000步训练，使用单张H100 GPU完成。

• 设计思路：本研究旨在验证QLoRA训练方法的有效性，因此选择在Guanaco 33B基础上进行中文能力增强的微调，假设模型已具备足够的逻辑推理与知识编码能力。

训练数据选择

采用Chinese-Vicuna项目开放的guanaco_belle_merge_v1.0数据集进行微调。

• 选择依据：根据QLoRA论文附录B.4和表9的网格搜索结论，QLoRA微调并非数据量越大越好，10000步是性价比最优的规模。后续将持续测试更多数据集与数据质量筛选方案。
• 致谢：Chinese-Vicuna项目、Belle项目及GuanacoDataset的贡献。

超参数设置

基于成本效益考量，主要遵循QLoRA论文的实验结论：

• 批量大小：16
• 最大步数：10000（后续将更新更大规模训练）
• 学习率：1e-4
• LoRA参数：r=64, alpha=16
• 输入/输出长度：512（覆盖大部分样本长度）

训练指南

1. 复现Anima训练：

pip install -r requirements.txt
cd training
./run_Amina_training.sh

2. 基于Anima微调：

pip install -r requirements.txt
cd training
./run_finetune_raining_based_on_Anima.sh

注：可通过修改脚本中的--dataset参数更换训练数据。

多卡支持

通过Hugging Face Accelerate天然支持多卡，实测双卡A100（40GB）可正常运行。

📊性能评估

Elo评分排名

评估方法

• 数据集：采用GPT4翻译的Vicuna评测集
• 方法：300轮GPT4评估，使用Elo评级系统（K=32, 初始分=1000）
• 代码：Elo对战分析

核心结论

模型规模仍是决定推理与知识能力的关键因素。QLoRA能以极低成本微调硬件支持的最大模型，仅通过10000步训练，Anima即达到当前中文模型最佳效果。

🎉推理使用

安装依赖：

pip install -r https://github.com/lyogavin/Anima/blob/main/requirements.txt?raw=true

参考示例代码：

from transformers import GenerationConfig, LlamaForCausalLM, LlamaTokenizer
import torch

model = LlamaForCausalLM.from_pretrained(
    "lyogavin/Anima33B-merged",
    torch_dtype=torch.float16,
    device_map="auto"
)
inputs = tokenizer("中国的首都是哪里？", return_tensors="pt")
generate_ids = model.generate(**inputs, max_new_tokens=30)
print(tokenizer.decode(generate_ids[0]))
# 输出：'中国的首都是哪里？\n中国的首都是北京。\n北京位于中国北部...'

📚 示例展示

✍️关于我们

来自艾写科技的硅谷团队，拥有中美大厂AI研发经验。我们专注于通过LLM技术打造下一代内容创作工具，致力于帮助创作者在AI时代打造爆款内容。

核心理念：在生成式AI时代，真正的竞争不在于"能否写作"，而在于"能否创作爆款"。我们通过实时全网社交媒体数据分析，结合最新LLM技术，为创作者提供数据驱动的竞争优势。