许可证: llama3.1
语言:

• 希腊语
• 英语
  任务标签: 文本生成
  库名称: transformers
  标签:
• 文本生成推理
  基础模型:
• ilsp/Llama-Krikri-8B-Base

🚨 请使用官方量化版本: GGUF 或申请特定版本 🚨

🚨 第三方量化可能未包含模型权重的最新改进，无法保证版本时效性 🚨

Llama-Krikri-8B-Instruct：希腊语指令调优大语言模型

继2024年3月26日发布Meltemi-7B后，我们很高兴推出ILSP开源希腊语大模型家族新成员Krikri。
Krikri基于Llama-3.1-8B构建，通过对高质量本土希腊语文本的持续预训练扩展其希腊语能力。我们同步发布Llama-Krikri-8B-Instruct及其基础模型Llama-Krikri-8B-Base。

模型信息

基础模型

• 扩展Llama-3.1分词器希腊语词表
• 128k上下文长度（约8万希腊语单词）
• 通过大规模语料库增强Llama-3.1-8B的希腊语能力：
  • 包含567亿希腊语单语token，源自公开资源
  • 为防止灾难性遗忘并保持双语能力，额外加入210亿英语单语token和55亿希腊语-英语平行token
  • 包含78亿数学与代码token
  • 语料经过严格清洗去重，构成如下：

精选子集上采样后形成1100亿token训练规模。

指令模型

Llama-Krikri-8B-Instruct经后训练具备以下特性：

• 增强的希腊语/英语对话与指令跟随能力
• 希腊语与英/法/德/意/葡/西语双向文档翻译
• 优异的内容生成、理解与编辑表现（摘要、创作、文本修改、实体识别、情感分析等）
• 法律、金融、医疗、科学等专业领域能力
• 支持128k上下文的检索增强生成(RAG)
• 改进的代码格式化与工具调用能力
• 结构化数据转换（XML/JSON等）
• 分析思维与思维链(CoT)推理

后训练方法

采用多阶段流程：

• 两阶段监督微调（希腊语/英语指令-响应对及多轮对话）
  • 阶段1：856,946对（371,379希腊语 + 485,567英语）
  • 阶段2：638,408对（279,948希腊语 + 358,460英语）
• 基于偏好三元组（指令-优选响应-劣质响应）的对齐
  • 长度归一化DPO：92,394组（47,132希腊语 + 45,262英语）

后训练数据构建

整合以下高质量数据集：

• Tulu 3、SmolTalk、MAGPIE Ultra等
• 自研工具希腊语翻译
• 翻译再生对比构建偏好数据
• 蒸馏希腊语强模型如Gemma 2 27B IT
• 基于ELRC-SHARE平行语料构建翻译数据
• 从维基百科、EUR-LEX等源合成问答对

使用指南

Transformers调用

from transformers import AutoModelForCausalLM, AutoTokenizer  

device = "cuda"  

model = AutoModelForCausalLM.from_pretrained("ilsp/Llama-Krikri-8B-Instruct")  
tokenizer = AutoTokenizer.from_pretrained("ilsp/Llama-Krikri-8B-Instruct")  

model.to(device)  

system_prompt = "你是Krikri，一个由雅典娜研究中心开发的希腊语AI模型。"  
user_prompt = "羊驼和山羊有什么区别？"  

messages = [  
    {"role": "system", "content": system_prompt},  
    {"role": "user", "content": user_prompt},  
]  
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False)  
input_prompt = tokenizer(prompt, return_tensors='pt').to(device)  
outputs = model.generate(input_prompt['input_ids'], max_new_tokens=256, do_sample=True)  

print(tokenizer.batch_decode(outputs)[0])  

vLLM OpenAI兼容服务

vllm serve ilsp/Llama-Krikri-8B-Instruct \  
  --enforce-eager \  
  --dtype 'bfloat16' \  
  --api-key token-abc123  

Python调用示例：

from openai import OpenAI  

client = OpenAI(api_key="token-abc123", base_url="http://localhost:8000/v1")  

response = client.chat.completions.create(  
    model="ilsp/Llama-Krikri-8B-Instruct",  
    messages=[  
        {"role": "system", "content": "你是一个高级翻译系统，仅返回Python列表格式的翻译结果"},  
        {"role": "user", "content": "翻译以下伦理学派列表为希腊语：['义务伦理','后现代伦理','结果主义伦理']"}  
    ],  
    temperature=0.0  
)  
print(response.choices[0].message.content)  
# ['Ηθική καθήκοντος', 'Μεταμοντέρνα ηθική', 'Συνεπειοκρατική ηθική']  

评估

核心指标

• 希腊IFEval超越Llama-3.1-8B达+21.7%
• 希腊MT-Bench得分(7.96)领先Aya Expanse 8B(+0.28)

Arena-Hard自动评估

• 希腊语评测超越8倍参数量模型（如Llama-3.1-70B）
• 英语评测较Llama-3.1-8B提升+24.5%（无样式控制）

*注意：评测模型对蒸馏数据存在偏好偏差（详见论文）

🚨 后训练方法与评估详情即将发布 🚨

致谢

本项目使用GRNET通过OCRE Cloud框架提供的亚马逊云服务，感谢希腊学术研究社区的支持。