license: cc-by-4.0 language:

• 希伯来语 inference: false

DictaBERT：现代希伯来语最先进的BERT套件

针对希伯来语的最先进语言模型，发布于此处。

这是为以下任务联合解析而微调的模型：

• 前缀分割
• 形态消歧
• 词典分析（词形还原）
• 句法解析（依存树）
• 命名实体识别

该模型的实时演示（含语法树即时可视化）可在此处查看。

如需更快的模型，可使用该任务的等效bert-tiny模型此处。

其他任务的bert-base模型请见此处。

当前模型支持3种输出类型：

1. JSON格式：为输入中的每个句子返回JSON对象，包含句子文本、NER实体及词元列表。每个词元包含各任务的输出结果。

   model.predict(..., output_style='json')
   

2. UD格式：根据希伯来语UD树库风格返回完整UD输出。

   model.predict(..., output_style='ud')
   

3. IAHLT风格UD格式：返回经IAHLT风格调整的UD输出，主要差异体现在部分依存关系的粒度、词语后缀拆分方式及隐式定冠词处理（实际标注行为不变）。

   model.predict(..., output_style='iahlt_ud')
   

若只需部分任务的输出，可指定不初始化某些任务头，例如：

model = AutoModel.from_pretrained('dicta-il/dictabert-joint', trust_remote_code=True, do_lex=False)

可选参数包括：do_lex, do_syntax, do_ner, do_prefix, do_morph。

使用示例：

from transformers import AutoModel, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('dicta-il/dictabert-joint')
model = AutoModel.from_pretrained('dicta-il/dictabert-joint', trust_remote_code=True)

model.eval()

sentence = 'בשנת 1948 השלים אפרים קישון את לימודיו בפיסול מתכת ובתולדות האמנות והחל לפרסם מאמרים הומוריסטיים'
print(model.predict([sentence], tokenizer, output_style='json')) # 其他输出格式见下文

输出示例（完整JSON结构见原文）

UD格式输出示例（完整结构见原文）

引用

若在研究中使用了DictaBERT-joint，请引用论文 MRL Parsing without Tears: The Case of Hebrew

BibTeX格式：

@misc{shmidman2024mrl,
      title={MRL Parsing Without Tears: The Case of Hebrew}, 
      author={Shaltiel Shmidman and Avi Shmidman and Moshe Koppel and Reut Tsarfaty},
      year={2024},
      eprint={2403.06970},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

许可协议

Shield:

本作品采用知识共享署名4.0国际许可协议授权。