许可证: mit 语言:

• 英文
• 中文 管道标签: 令牌分类

中文分段器第二代

GitHub仓库

bert-chunker-Chinese-2（中文分段器）是基于BertForTokenClassification构建的文本分块工具，通过预测文本块的起始标记（适用于RAG等场景），并采用滑动窗口技术处理任意长度文档。本工具可作为semantic chunker的替代方案，其独特优势在于不仅能处理结构化文本，更能有效处理非结构化杂乱文本。作为bc-chinese的升级版，我们改进了数据标注和训练流程，使其更稳定实用。

更新日志：

• 2025.5.12：新增实验性功能脚本，支持指定每个文本块的最大令牌数。

使用说明

运行以下代码：

# -*- coding: utf-8 -*-
import torch
from transformers import AutoTokenizer, BertForTokenClassification
import math

# 模型加载与初始化代码...
# 文本分块函数定义...
# 示例文档处理代码...

实验性功能

下方脚本支持设置每个文本块的最大令牌数。当即将超过max_tokens_per_chunk限制且无符合prob_threshold的标记时，分段器会强制从历史记录中选择最佳分割位置。该脚本可视作上述标准脚本的实验性升级版。

# -*- coding: utf-8 -*-
import torch
from transformers import AutoTokenizer, BertForTokenClassification
import math

# 带最大分块尺寸的模型加载代码...
# 增强版分块函数实现...
# 示例文档处理代码...

引用规范

@article{bert-chunker,
  title={bert-chunker: 面向非结构化文档的高效训练分块器}, 
  author={罗亚南},
  year={2024},
  url={https://github.com/jackfsuia/bert-chunker}
}

基础模型源自bge-small-zh-v1.5。