小部件:

• 文本: 亚的斯亚贝巴 示例标题: 示例1
• 文本: 在英超联赛 示例标题: 示例2
• 文本: 唐纳德·特朗普 示例标题: 示例3 语言:
• 阿姆哈拉语 评估指标:
• 困惑度 库名称: transformers 流水线标签: 文本生成

Llama 3.2 400M 阿姆哈拉语模型

这是Meta公司Llama-3.2-1B解码器变压器模型的精简版本，使用单块A100 40GB显卡和2.74亿个阿姆哈拉语文本标记从头预训练了23小时。

• 包含4亿参数
• 该模型的上下文长度为1024个标记
• 采用与Llama-3.2-1B相同的分词器，使用与模型相同的阿姆哈拉语数据集训练，词汇量为32k
• 验证困惑度：41.3
• 此为基座模型，尚未进行任何监督微调

使用方法

首先需安装最新版transformers库：

pip install -Uq transformers

可通过文本生成流水线直接使用该模型：

from transformers import pipeline

llama_am = pipeline(
    "text-generation",
    model="rasyosef/Llama-3.2-400M-Amharic",
    device_map="auto"
  )

prompt = "亚的斯亚贝巴"
llama_am(
    prompt,
    max_new_tokens=128,
    temperature=0.5,
    do_sample=True,
    top_k=8,
    top_p=0.8,
    repetition_penalty=1.2
  )

输出示例：

[{'generated_text': '亚的斯亚贝巴，2012年12月8日（FBC）联邦外交部长盖杜·安达尔加切与非洲联盟执行理事会常会间隙，会见了刚果民主共和国同行马里·图姆巴·恩泽萨及其他非洲国家大使。双方就非洲防控冠状病毒工作进行磋商，并在其推特页面发布了会谈情况。关于两国关系，埃塞俄比亚以其在联盟常驻大使身份提名候选人的责任担当令人瞩目。埃塞俄比亚在应对COVID19疫情方面向南非致谢，并就病毒防控措施详细回答了提问，表示希望未来能在合作领域继续开展工作。接下来双方还就...'}]