Llama 3 Korean Bllossom 70B

由 Bllossom 开发

基于Llama3的韩英双语增强模型，通过词汇扩展和知识关联优化韩语能力

大型语言模型

Transformers

支持多种语言

#韩英双语增强 #文化适配指令微调 #长上下文处理

下载量 300

发布时间 : 5/8/2024

模型介绍

内容详情

替代品

模型简介

Bllossom是首尔科技大学等机构联合开发的韩英双语大语言模型，通过词汇扩展、知识关联训练和韩语文化适配指令微调，显著提升了韩语处理能力

模型特点

韩语词汇扩展

扩展了3万+韩语词汇量，显著提升韩语表达能力

知识关联训练

通过韩英平行语料库建立双语知识链接

文化适配指令

采用语言学家定制的韩语文化适配数据进行微调

上下文长度优化

相比原版Llama3处理韩语上下文长度提升约25%

模型能力

韩英双语文本生成

韩语问答

知识关联推理

文化适配响应

使用案例

教育

韩语学习助手

帮助非韩语母语者学习韩语

提供文化适配的语言解释

商业

双语客服机器人

处理韩英双语客户咨询

准确理解并回应文化相关查询

base_model:

meta-llama/Meta-Llama-3-70B language:
en
ko library_name: transformers license: llama3

Bllossom | 演示 | 官网 | Github | Colab教程 |

我们Bllossom项目团队正式发布韩英双语模型Bllossom-70.8B！
这是首尔科技大学超级计算中心支持下，用超100GB韩语数据全参数微调的韩语增强型双语模型！
您是否在寻找擅长韩语的AI模型？
 - 韩国首创！突破3万词汇量的韩语词表扩展
 - 相比Llama3处理韩语上下文长度提升约25%
 - 基于韩英平行语料库的知识关联预训练
 - 采用语言学家定制的韩语文化适配数据进行指令微调
 - 应用强化学习技术
集上述优势于一体且支持商用的Bllossom，助您打造专属AI模型！
GPU不足？可直接使用量化模型服务 [量化模型](https://huggingface.co/Bllossom/llama-3-Korean-Bllossom-70B-gguf-Q4_K_M)！！

1. Bllossom-70.8B是首尔科大、Teddysum公司与延世大学语言资源实验室语言学家协作开发的实用主义语言模型！将持续更新维护，欢迎多多使用 🙂
2. 我们还有超强性能的Advanced-Bllossom 8B/70B模型及视觉-语言模型！（感兴趣请私信咨询！！）
3. Bllossom相关成果已被NAACL2024和LREC-COLING2024（口头报告）收录
4. 我们将持续优化语言模型！诚邀韩语增强方向的合作研究（特别是论文合作）！
   即便仅有少量GPU资源的团队也欢迎随时联系！我们愿助力实现您的创意

Bllossom是基于开源LLama3的韩英双语语言模型，通过以下特性强化了双语知识关联：

知识关联：通过额外训练建立韩英知识链接
词汇扩展：扩展韩语词表以增强表达力
指令微调：使用专为韩语文化定制的指令数据进行调优
人类反馈：应用了DPO优化
视觉对齐：视觉Transformer与本语言模型的对齐

本模型由首尔科大MLP实验室、Teddysum与延世大学联合开发

演示视频

Bllossom-V演示

Bllossom演示(Kakao)　　　　　　　　

示例代码

Colab教程

推理代码链接

安装依赖

pip install torch transformers==4.40.0 accelerate

Pipeline调用方式

import transformers
import torch

model_id = "Bllossom/llama-3-Korean-Bllossom-70B"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

pipeline.model.eval()
PROMPT = '''你是乐于助人的AI助手，请友好回答用户问题。당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "介绍下首尔科技大学MLP实验室"

messages = [
    {"role": "system", "content": f"{PROMPT}"},
    {"role": "user", "content": f"{instruction}"}
    ]

prompt = pipeline.tokenizer.apply_chat_template(
        messages, 
        tokenize=False, 
        add_generation_prompt=True
)

terminators = [
    pipeline.tokenizer.eos_token_id,
    pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = pipeline(
    prompt,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)

print(outputs[0]["generated_text"][len(prompt):])

# 首尔科技大学MLP实验室专注于多模态自然语言处理研究。成员包括林炅泰教授与金敏俊、金尚民、崔昌秀、元仁浩、柳韩决、林贤锡、宋承宇、陆正勋、申东宰等学生

AutoModel调用方式

import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'Bllossom/llama-3-Korean-Bllossom-70B'

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)

model.eval()

PROMPT = '''你是乐于助人的AI助手，请友好回答用户问题。당신은 유능한 AI 어시스턴트 입니다. 사용자의 질문에 대해 친절하게 답변해주세요.'''
instruction = "介绍下首尔科技大学MLP实验室"

messages = [
    {"role": "system", "content": f"{PROMPT}"},
    {"role": "user", "content": f"{instruction}"}
    ]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.eos_token_id,
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=2048,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)

print(tokenizer.decode(outputs[0][input_ids.shape[-1]:], skip_special_tokens=True))
# 首尔科技大学MLP实验室专注于多模态自然语言处理研究。成员包括林炅泰教授与金敏俊、金尚民、崔昌秀、元仁浩、柳韩决、林贤锡、宋承宇、陆正勋、申东宰等学生

支持机构

韩国人工智能融合院

引用文献

语言模型

@misc{bllossom,
  author = {崔昌秀、郑容彬、朴瑞昀、元仁浩、林贤锡、金尚民、姜艺瑟、尹赞赫、朴在莞、李艺瑟、李惠珍、咸泳均、金汉森、林炅泰},
  title = {多语言大语言模型的语种增强优化：以韩语为例},
  year = {2024},
  journal = {LREC-COLING 2024},
  paperLink = {\url{https://arxiv.org/pdf/2403.10882}},
 }

视觉语言模型

@misc{bllossom-V,
  author = {申东宰、林贤锡、元仁浩、崔昌秀、金敏俊、宋承宇、柳韩决、金尚民、林炅泰},
  title = {X-LLaVA：双语大视觉语言对齐优化},
  year = {2024},
  publisher = {GitHub},
  journal = {NAACL 2024成果},
  paperLink = {\url{https://arxiv.org/pdf/2403.11399}},
 }