🚀 韩英双向翻译模型ko2en_bidirection2
本模型是一个强大的翻译工具,基于特定数据集对基础模型进行微调,在韩英互译任务中表现出色,能为用户提供准确且高效的翻译服务。
🚀 快速开始
此模型是基于KETI-AIR/long-ke-t5-base在KETI-AIR/aihub_koenzh_food_translation、KETI-AIR/aihub_scitech_translation、KETI-AIR/aihub_scitech20_translation、KETI-AIR/aihub_socialtech20_translation、KETI-AIR/aihub_spoken_language_translation等数据集上微调得到的。它在评估集上取得了如下成果:
- 损失值:0.5716
- 蓝斯评分(Bleu):51.5949
- 生成长度:28.8348
✨ 主要特性
- 多领域适用:使用多个不同领域的数据集进行训练,包括食品翻译、科技翻译、社会科技翻译、口语翻译等,能适应多种场景的翻译需求。
- 双向翻译:支持韩语到英语和英语到韩语的双向翻译。
📦 安装指南
文档未提供具体安装步骤,暂不展示。
💻 使用示例
基础用法
以下是一些使用示例:
# 韩语到英语翻译示例1
输入: translate_ko2en: IBM 왓슨X는 AI 및 데이터 플랫폼이다. 신뢰할 수 있는 데이터, 속도, 거버넌스를 갖고 파운데이션 모델 및 머신 러닝 기능을 포함한 AI 모델을 학습시키고, 조정해, 조직 전체에서 활용하기 위한 전 과정을 아우르는 기술과 서비스를 제공한다.
输出: 待模型翻译结果
# 韩语到英语翻译示例2
输入: translate_ko2en: 이용자는 신뢰할 수 있고 개방된 환경에서 자신의 데이터에 대해 자체적인 AI를 구축하거나, 시장에 출시된 AI 모델을 정교하게 조정할 수 있다. 대규모로 활용하기 위한 도구 세트, 기술, 인프라 및 전문 컨설팅 서비스를 활용할 수 있다.
输出: 待模型翻译结果
# 英语到韩语翻译示例1
输入: translate_en2ko: The Seoul Metropolitan Government said Wednesday that it would develop an AI-based congestion monitoring system to provide better information to passengers about crowd density at each subway station.
输出: 待模型翻译结果
# 英语到韩语翻译示例2
输入: translate_en2ko: According to Seoul Metro, the operator of the subway service in Seoul, the new service will help analyze the real-time flow of passengers and crowd levels in subway compartments, improving operational efficiency.
输出: 待模型翻译结果
📚 详细文档
训练和评估数据
使用了KETI-AIR/aihub_koenzh_food_translation、KETI-AIR/aihub_scitech_translation、KETI-AIR/aihub_scitech20_translation、KETI-AIR/aihub_socialtech20_translation、KETI-AIR/aihub_spoken_language_translation等数据集进行训练和评估。
训练过程
训练超参数
训练过程中使用了以下超参数:
属性 |
详情 |
学习率 |
0.001 |
训练批次大小 |
16 |
评估批次大小 |
16 |
随机种子 |
42 |
分布式类型 |
多GPU |
设备数量 |
8 |
总训练批次大小 |
128 |
总评估批次大小 |
128 |
优化器 |
Adam(β1=0.9,β2=0.999,ε=1e-08) |
学习率调度器类型 |
线性 |
训练轮数 |
3.0 |
训练结果
训练损失 |
轮数 |
步数 |
验证损失 |
蓝斯评分(Bleu) |
生成长度 |
0.7004 |
1.0 |
187524 |
0.6461 |
28.0622 |
17.8368 |
0.6176 |
2.0 |
375048 |
0.5967 |
29.3033 |
17.8281 |
0.5642 |
3.0 |
562572 |
0.5716 |
30.0045 |
17.8366 |
框架版本
- Transformers 4.25.1
- Pytorch 1.12.0
- Datasets 2.8.0
- Tokenizers 0.13.2
🔧 技术细节
文档未提供具体技术细节,暂不展示。
📄 许可证
本模型采用Apache-2.0许可证。