语言:

• 英文
• 中文 标签:
• 语鲸 任务:
• 文本生成

🚀 Github仓库 • 🤖 ModelScope • ⛵ Wisemodel

目录

• 目录
• 模型介绍
• 测评结果
• 生成样例
• 部署和推理
• 微调方法
• 开源协议

模型介绍

语鲸-8B是深言科技推出的语鲸系列大模型中首个开源的中英双语大语言模型。

该模型基于数万亿token的高质量中英数据进行预训练，具备强大的基础能力，在多个公开评测基准中表现优异。预训练阶段采用8K上下文窗口，能够处理长文本理解与生成任务。

语鲸-8B对学术研究完全开放，商用需通过邮件申请获得官方授权许可。

我们同步开源了适配Huggingface接口的模型权重，并提供LoRA等参数高效微调方案，方便开发者快速应用。

需注意，受模型规模限制，语鲸-8B仍存在大模型常见的幻觉问题与数学计算能力不足等局限。后续版本将重点优化这些问题。

测评结果

我们在以下基准测试集上进行了全面评估：

• C-Eval：涵盖52个学科的中文评估基准，使用dev集作为few-shot来源，test集进行5-shot测试
• MMLU：包含57个跨领域任务的英文基准，采用5-shot测试
• CMMLU：覆盖67个主题的中文评测，使用dev集few-shot，test集5-shot
• Gaokao：基于高考题目的评估，保留四选一题型进行5-shot测试
• HumanEval：编程能力测试，采用zero-shot计算Pass@1
• GSM8K：小学数学应用题集，进行8-shot测试
• BBH：Big-Bench困难任务子集，3-shot测试
• AGIEval：类人认知能力评估，保留四选一题型5-shot测试

评测结果如下表所示：

*标注结果来自官方数据，所有数值保留1位小数

生成样例

以下样例基于语鲸-8B微调后的对话模型生成

import re

def validate_phone(phone):
    pattern = r'^1[3-9]\d{9}$' 
    return bool(re.match(pattern, phone))

print(validate_phone('13800138000'))  # True
print(validate_phone('12345678901'))  # False

部署和推理

环境安装

pip install -r requirements.txt

• 如需flash attention需安装flash-attn
• LoRA微调需额外安装peft

Python示例

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("deeplang-ai/LingoWhale-8B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deeplang-ai/LingoWhale-8B", device_map="auto", trust_remote_code=True)

inputs = tokenizer("陋室铭\n唐 刘禹锡\n", return_tensors="pt").to("cuda:0")
output = model.generate(**inputs, max_new_tokens=100, repetition_penalty=1.1)
print(tokenizer.decode(output.cpu()[0], skip_special_tokens=True))

微调方法

单机训练

使用COIG数据集示例：

deepspeed finetune/finetune.py \
    --data_path "finetune/data/coig_10k.json" \
    --model_name_or_path deeplang-ai/LingoWhale-8B \
    --output_dir "output" \
    --per_device_train_batch_size 4 \
    --gradient_accumulation_steps 1 \
    --learning_rate 2e-5 \
    --deepspeed finetune/ds_config.json \
    --bf16 True

数据格式要求：

[
    {
        "conversations": [
            {"from": "human", "value": "问题内容"},
            {"from": "model", "value": "回答内容"}
        ]
    }
]

多机训练

配置hostfile文件后执行：

ip1 slots=8
ip2 slots=8

运行命令与单机类似，增加--hostfile参数。

高效微调

添加--use_lora True启用LoRA，微调后模型加载方式：

from peft import AutoPeftModelForCausalLM
model = AutoPeftModelForCausalLM.from_pretrained("output")

开源协议

使用需遵守Apache 2.0和《语鲸-8B模型许可协议》。商业用途请通过申请表申请授权，审核通过后可免费商用。