语言:

• 英语
• 泰米尔语 许可证: 其他 数据集:
• vicgalle/alpaca-gpt4
• abhinand/tamil-alpaca 许可证名称: gemma使用条款 许可证链接: https://ai.google.dev/gemma/terms 基础模型: abhinand/gemma-2b-tamil 模型索引:
• 名称: gemma-2b-it-tamil-v0.1-alpha 结果:
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: AI2推理挑战赛(25样本) 类型: ai2_arc 配置: ARC挑战赛 分割: 测试集 参数: 少量样本数: 25 指标:
    • 类型: 标准化准确率 值: 50.09 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=abhinand/gemma-2b-it-tamil-v0.1-alpha 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: HellaSwag(10样本) 类型: hellaswag 分割: 验证集 参数: 少量样本数: 10 指标:
    • 类型: 标准化准确率 值: 71.41 名称: 标准化准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=abhinand/gemma-2b-it-tamil-v0.1-alpha 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: MMLU(5样本) 类型: cais/mmlu 配置: 全部 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 39.94 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=abhinand/gemma-2b-it-tamil-v0.1-alpha 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: TruthfulQA(0样本) 类型: truthful_qa 配置: 多选 分割: 验证集 参数: 少量样本数: 0 指标:
    • 类型: mc2 值: 42.63 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=abhinand/gemma-2b-it-tamil-v0.1-alpha 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: Winogrande(5样本) 类型: winogrande 配置: winogrande_xl 分割: 验证集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 64.96 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=abhinand/gemma-2b-it-tamil-v0.1-alpha 名称: 开放大模型排行榜
  • 任务: 类型: 文本生成 名称: 文本生成 数据集: 名称: GSM8k(5样本) 类型: gsm8k 配置: 主要 分割: 测试集 参数: 少量样本数: 5 指标:
    • 类型: 准确率 值: 16.6 名称: 准确率 来源: 网址: https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=abhinand/gemma-2b-it-tamil-v0.1-alpha 名称: 开放大模型排行榜

Gemma 2B泰米尔语v0.1 Alpha版 [实验性发布]

这是谷歌Gemma 2B模型的泰米尔语指令微调版本。本实验旨在验证是否能在不扩展词汇表的情况下使Gemma适配泰米尔语。虽然响应有时可能不够流畅，但作为20亿参数模型已展现出巨大潜力。

开发流程:

1. 基于Gemma基础模型，使用所有可用的泰米尔语维基百科数据持续预训练3个周期
2. 使用混合的英语和泰米尔语alpaca数据集对更新后的模型进行5个周期的微调

注意: 本项目目前处于开发阶段(针对泰米尔语)。初始预训练可能不够充分，若在更大规模数据集(如CulturaX)上延长预训练时间，模型性能有望提升。

🏆 基准测试表现

在Nous评估套件中，本模型在所有基准测试上均优于谷歌Gemma 2B基础版和指令版。令人惊讶的是，尽管本模型专注于语言适配，其表现甚至超越了mlabonne/Gemmalpaca-2B(截至2024年2月25日基准测试表现最佳的20亿参数模型)。

模型说明

• 模型类型: 基于10万样本微调的20亿参数GPT类模型(英语与泰米尔语样本各占50%)
• 支持语言: 双语(英语和泰米尔语)
• 许可证: Google Gemma使用条款
• 微调基础: abhinand/gemma-2b-tamil
• 训练精度: bfloat16
• 训练硬件: 4块Nvidia RTX 3090 GPU
• 训练成本: 20美元

支持开发者

如果您认可这项工作并希望支持持续开发，请考虑请我喝咖啡。您的支持非常宝贵且深表感谢。

提示格式 [Alpaca]

无输入提示模板

{系统提示}

### 指令:
{指令或查询}

### 响应:
{响应}

含输入提示模板

{系统提示}

### 指令:
{指令或查询}

### 输入:
{输入内容}

### 响应:
{响应}

使用须知

需注意本模型未经过内容净化处理。虽然具备出色的语言能力，但仍可能生成有害或冒犯性内容。建议用户谨慎使用，特别是在公开或敏感场景中需密切监督模型输出。

开发团队

了解模型背后的创造者并关注他们在该领域的贡献:

• Abhinand Balachandran

我们期待本模型能成为您NLP工具包中的利器，并推动泰米尔语理解和生成技术的进步。

开放大模型排行榜评估结果

详细结果参见此处