widget:

• text: "10月28日上午，在国会关于社会经济形势的讨论会上，劳动荣军与社会部部长陶玉容概括表示，在会议开幕式上，政府领导已就社会保障政策实施情况进行了较为明确的报告和阐述。" tags:
• 分词 language:
• 越南语 metrics:
• 精确率
• 召回率
• F1值
• 准确率 model-index:
• name: 越南语分词模型 results: []

越南语分词模型

该模型是基于NlpHUST/electra-base-vn在VLSP 2013越南语分词数据集上微调的版本。评估集表现如下：

• 损失值：0.0501
• 精确率：0.9833
• 召回率：0.9838
• F1值：0.9835
• 准确率：0.9911

模型描述

需补充更多信息

使用范围与限制

可通过Transformers的pipeline进行命名实体识别：

from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("NlpHUST/vi-word-segmentation")
model = AutoModelForTokenClassification.from_pretrained("NlpHUST/vi-word-segmentation")

nlp = pipeline("token-classification", model=model, tokenizer=tokenizer)
example = "10月28日上午，在国会关于社会经济形势的讨论会上，劳动荣军与社会部部长陶玉容概括表示..."

ner_results = nlp(example)
example_tok = ""
for e in ner_results:
    if "##" in e["word"]:
        example_tok = example_tok + e["word"].replace("##","")
    elif e["entity"] =="I":
        example_tok = example_tok + "_" + e["word"]
    else:
        example_tok = example_tok + " " + e["word"]
print(example_tok)

输出示例：Phát_biểu tại phiên thảo_luận về tình_hình kinh_tế xã_hội...

训练与评估数据

需补充更多信息

训练过程

超参数设置

• 学习率：5e-05
• 训练批大小：8
• 评估批大小：4
• 随机种子：42
• 梯度累积步数：2
• 总训练批大小：16
• 优化器：Adam（beta1=0.9，beta2=0.999，epsilon=1e-08）
• 学习率调度器类型：线性
• 训练轮次：5.0

训练结果

框架版本

• Transformers 4.22.2
• Pytorch 1.12.1+cu113
• Datasets 2.4.0
• Tokenizers 0.12.1