library_name: transformers
license: gemma
datasets:

• ai4bharat/sangraha
  language:
• mr
• en
  pipeline_tag: text-generation

模型卡片（Model ID）

模型详情

希瓦内里马拉地语大语言模型（Shivneri Marathi LLM）的诞生，旨在为印度非英语（尤其是马拉地语）使用者带来生成式人工智能的红利。
马拉地语是印度母语使用人数第三大的语言，仅次于印地语和孟加拉语，约有8300万人使用该语言。
这是我们马拉地语大语言模型的初代版本！

基于强大的Gemma 7B基础模型构建，希瓦内里大语言模型能够用马拉地语和英语生成富有创意且信息丰富的文本。这仅仅是个开始——我们正在持续优化希瓦内里，更多激动人心的功能即将登场！

模型描述

这是托管在Hugging Face Hub上的🤗 transformers模型卡片，内容为自动生成。

• 开发者: 阿米特·加吉（Amit Ghadge）
• 资助方[可选]: [需补充信息]
• 共享者[可选]: [阿米特·加吉]
• 模型类型: [纯解码器架构的大语言模型（LLM），基于Transformer]
• 支持语言（NLP）: [马拉地语、英语]
• 许可证: [需补充信息]
• 微调基模型[可选]: [Gemma-7B]

模型来源[可选]

• 代码仓库: [https://github.com/amitagh/shivneri-llm]
• 论文[可选]: [https://medium.com/@amitagh/shivneri-marathi-llm-e823f0a045d8]
• 演示[可选]: [即将上线]

用途

当前为早期测试版本，请谨慎使用。建议等待后续更新及正式版模型发布后再体验。

训练详情

训练数据

[基于AI4Bharat/Sangraha数据集通过LoRA进行持续预训练]

训练流程

采用LoRA方法进行持续预训练

模型架构与目标

[基于Transformer架构的纯解码器大语言模型]

计算基础设施

[使用A100 80GB显卡]

开发者介绍

认识这一创新模型背后的创造者，关注他们在该领域的贡献：

• 阿米特·加吉

引用[可选]

若在研究中使用本模型，请引用：

@misc{amitghadge2024ShivneriLLMv01,  
      title={希瓦内里大语言模型：双语马拉地语与英语文本生成器},   
      author={阿米特·加吉},  
      year={2024},  
      eprint={https://medium.com/@amitagh/shivneri-marathi-llm-e823f0a045d8},  
}  

我们期待本模型能成为您NLP工具库中的利器，并见证其在马拉地语理解与生成领域推动的进步。