license: llama3 language:

• tr pipeline_tag: text-generation base_model: meta-llama/Meta-Llama-3-8B-Instruct

model-index:

• name: LLaMA-3-8B-Instruct-Abliterated-TR results:
  • task: type: 多项选择题 dataset: type: 多项选择题 name: MMLU_TR_V0.2 metrics:
    • name: 5样本测试 type: 5-shot value: 0.4908 verified: false
  • task: type: 多项选择题 dataset: type: 多项选择题 name: Truthful_QA_V0.2 metrics:
    • name: 零样本测试 type: 0-shot value: 0.4962 verified: false
  • task: type: 多项选择题 dataset: type: 多项选择题 name: ARC_TR_V0.2 metrics:
    • name: 25样本测试 type: 25-shot value: 0.4377 verified: false
  • task: type: 多项选择题 dataset: type: 多项选择题 name: HellaSwag_TR_V0.2 metrics:
    • name: 10样本测试 type: 10-shot value: 0.4486 verified: false
  • task: type: 多项选择题 dataset: type: 多项选择题 name: GSM8K_TR_V0.2 metrics:
    • name: 5样本测试 type: 5-shot value: 0.5323 verified: false
  • task: type: 多项选择题 dataset: type: 多项选择题 name: Winogrande_TR_V0.2 metrics:
    • name: 5样本测试 type: 5-shot value: 0.5513 verified: false

什么是消融技术？

Arditi等人在其博客文章中证明，大语言模型中的拒绝行为是由残差流中的单一方向介导的。他们发现，阻止模型表征这一方向可以使其回答有害问题。要更深入理解这一概念，可以参考Maxime Labonne的文章。

为了强制模型用土耳其语响应，我们使用LIMA数据集的stackexchange子集制作了平行指令集。这些指令随后被翻译成土耳其语，并在运行时附加额外句子，提示模型用土耳其语回答。

本实验使用的数据集可通过以下链接获取：

1. https://huggingface.co/datasets/Metin/abliteration_en
2. https://huggingface.co/datasets/Metin/abliteration_tr

LLaMA-3-8B-Instruct-Abliterated-TR

LLaMA-3-8B-Instruct-Abliterated-TR是Meta-LLaMA-3-8B-Instruct的消融版本

技术细节:

• 使用40个样本来寻找激活均值的差异
• 选择第7层作为最具土耳其语表达潜力的层级

使用方法

可通过以下代码片段使用该模型：

from transformers import BitsAndBytesConfig
import transformers
import torch

bnb_config = BitsAndBytesConfig(
            load_in_4bit=True,
            bnb_4bit_use_double_quant=True,
            bnb_4bit_quant_type="nf4",
            bnb_4bit_compute_dtype=torch.bfloat16
)

model_id = "Metin/LLaMA-3-8B-Instruct-Abliterated-TR"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16 ,'quantization_config': bnb_config},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "你是乐于助人的助手。"}, # 理想情况下，消融后我们不应再要求模型用土耳其语回答
    {"role": "user", "content": "Python'da bir öğenin bir listede geçip geçmediğini nasıl kontrol edebilirim?"},
]

prompt = pipeline.tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=512,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.2,
    top_p=0.9,
)

print(outputs[0]["generated_text"][len(prompt):])

OpenLLMTurkishLeaderboard_v0.2基准测试结果

• MMLU_TR_V0.2: 49.08%
• Truthful_QA_TR_V0.2: 49.62%
• ARC_TR_V0.2: 43.77%
• HellaSwag_TR_V0.2: 44.86%
• GSM8K_TR_V0.2: 53.23%
• Winogrande_TR_V0.2: 55.13%
• 平均得分: 49.28%

由于未使用任何推理引擎(vLLM, TensorRT-LLM等)，这些分数可能与您运行相同基准测试时获得的结果存在差异。

输出示例（消融模型 vs 基础模型）

单例测试并非准确方法，但此处提供示例以展示模型能力。

模型: LLaMA-3-8B-Instruct-Abliterated-TR

输入

messages = [
    {"role": "system", "content": "你是乐于助人的助手。"},
    {"role": "user", "content": "Gökyüzü neden mavi?"},
]

输出

经典问题！

"Gökyüzü neden mavi"这个问题在土耳其语中意为"为什么天空是蓝色的？"。要回答这个问题，首先需要解释天空呈现蓝色的原因。

天空之所以呈现蓝色，与光在不同波长的散射现象有关。当阳光到达地球大气层时，会与大气中的气体分子发生碰撞。这种碰撞导致光波产生不同长度的散射。

天空呈现蓝色的主要原因在于短波长光线（约450-495纳米）的散射。这个波长的光在与大气分子碰撞后，会形成我们看到的蓝色光晕。

其他颜色则对应不同波长的散射。例如红色对应长波长光线（约620-750纳米）的散射。因此，天空呈现蓝色的本质原因就是短波长光线的散射现象。

这个回答完整解释了天空呈现蓝色的科学原理。

模型: LLaMA-3-8B-Instruct

输入

困扰人类数个世纪的问题！

简而言之，天空呈现蓝色是由于瑞利散射现象。这是光线被大气中微小颗粒（如氮气N2和氧气O2分子）散射的结果。

当阳光进入地球大气层时，会与这些微小分子相遇并向各个方向散射。由于短波（蓝光）比长波（红光）更容易被散射，且小分子对短波的散射效率更高，因此我们看到的蓝光更为丰富，这就是天空呈现蓝色的原因。

天空颜色会随一天中的时间、大气条件等因素变化，但瑞利散射是天空呈现蓝色的主要原因。

土耳其语中"Gökyüzü neden mavi"可译为"为什么天空是蓝色的？"