license: apache-2.0

[🤗Github仓库] [🔗网页端]

介绍/Introduction

雅意信息抽取统一大模型 (YAYI-UIE)基于百万级人工标注的高质量信息抽取数据进行指令微调，统一训练命名实体识别（NER）、关系抽取（RE）和事件抽取（EE）任务，实现通用领域及安全、金融、生物、医疗、商业、个人、车辆、电影、工业、餐饮、科研等垂直领域的结构化信息抽取。

雅意IE大模型的开源旨在推动中文预训练大模型开源社区发展。我们期待与合作伙伴共建雅意大模型生态。更多技术细节请参阅GitHub仓库，技术报告🔥《YAYI-UIE: 基于对话增强指令微调的通用信息抽取框架》已发布。

模型推理/Model Inference

>>> import torch
>>> from transformers import AutoModelForCausalLM, AutoTokenizer
>>> from transformers.generation.utils import GenerationConfig
>>> tokenizer = AutoTokenizer.from_pretrained("wenge-research/yayi-uie", use_fast=False, trust_remote_code=True)
>>> model = AutoModelForCausalLM.from_pretrained("wenge-research/yayi-uie", device_map="auto", torch_dtype=torch.bfloat16, trust_remote_code=True)
>>> generation_config = GenerationConfig.from_pretrained("wenge-research/yayi-uie")
>>> prompt = "文本:氧化锆陶瓷以其卓越的物理和化学特性在多个行业中发挥着关键作用。这种材料因其高强度、高硬度和优异的耐磨性，广泛应用于医疗器械、切削工具、磨具以及高端珠宝制品。在制造这种高性能陶瓷时，必须遵循严格的制造标准，以确保其最终性能。这些标准涵盖了从原材料选择到成品加工的全过程，保障产品的一致性和可靠性。氧化锆的制造过程通常包括粉末合成、成型、烧结和后处理等步骤。原材料通常是高纯度的氧化锆粉末，通过精确控制的烧结工艺，这些粉末被转化成具有特定微观结构的坚硬陶瓷。这种独特的微观结构赋予氧化锆陶瓷其显著的抗断裂韧性和耐腐蚀性。此外，氧化锆陶瓷的热膨胀系数与铁类似，使其在高温应用中展现出良好的热稳定性。因此，氧化锆陶瓷不仅在工业领域，也在日常生活中的应用日益增多，成为现代材料科学中的一个重要分支。\n抽取文本中可能存在的实体，并以json{制造品名称/制造过程/制造材料/工艺参数/应用/生物医学/工程特性：[实体]}格式输出。"
>>> # "<reserved_13>"代表用户输入标记，"<reserved_14>"代表模型回复标记
>>> prompt = "<reserved_13>" + prompt + "<reserved_14>"
>>> inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
>>> response = model.generate(**inputs, max_new_tokens=512, temperature=0)
>>> print(tokenizer.decode(response[0],skip_special_tokens=True))

指令样例/Sample Prompts

1. 实体抽取任务/NER tasks

文本：xx
【实体抽取】抽取文本中可能存在的实体，并以json{人物/机构/地点：[实体]}格式输出。
文本：
从给定文本中提取所有实体及类型，请以json{人物/机构/地点：[实体]}格式输出。

2. 关系抽取任务/RE tasks

文本：xx
【关系抽取】已知关系列表是[注资,拥有,纠纷,自己,增持,重组,买资,签约,持股,交易]。根据关系列表抽取关系三元组，按照json[{'relation':'', 'head':'', 'tail':''}, ]的格式输出。
文本：
从给定文本中抽取可能的主体实体（主语）和客体实体（宾语）及其对应关系三元组。关系类型包括[国家行政区划,出生地,位置包含]。以json[{'relation':'', 'head':'', 'tail':''}, ]格式输出结果。

文本：xx
抽取文本中可能存在的关系，并以json[{'关系':'会见/出席', '头实体':'', '尾实体':''}, ]格式输出。

3. 事件抽取任务/EE tasks

文本：xx
已知论元角色列表是[质押方,披露时间,质权方,质押物,质押股票/股份数量,事件时间,质押物所属公司,质押物占总股比,质押物占持股比]，请根据论元角色列表从给定的输入中抽取可能的论元，以json{角色:论元,}格式输出。
文本：
给定文本和角色列表[卖方,地点,受益人,买方]，识别事件论元及角色，以json{角色:名称}格式提供答案。

零样本评测/Zero-shot Evaluation

1. 命名实体识别任务/NER tasks

AI、Literature、Music、Politics、Science为英文数据集，boson、clue、weibo为中文数据集

2. 关系抽取任务/RE Tasks

FewRe、Wiki-ZSL为英文数据集，SKE 2020、COAE2016、IPRE为中文数据集

3. 事件抽取任务/EE Tasks

commodity news为英文数据集，FewFC、ccf_law为中文数据集

事件类型识别（Event Type Extraction）

事件论元抽取（Event Arguments Extraction）

下图展示了我们的模型在中文信息抽取任务上的零样本推理性能分布：

使用条款/Terms and Conditions

局限性/Limitations

基于当前数据和基础模型训练的SFT模型仍存在以下问题：

1. 可能生成与事实不符的错误回答
2. 对有害指令的识别能力有限，可能产生风险内容
3. 在段落级长文本场景下的抽取能力有待提升

开源协议/Open Source License

本项目代码和数据遵循Apache-2.0协议开源。使用YAYI UIE模型或其衍生品需遵守百川2的社区和商用协议。

免责声明/Disclaimer

鉴于模型局限性，开发者须将开源内容（含代码、数据、模型及衍生品）仅用于研究目的，禁止商业用途及可能危害社会的应用。请审慎使用雅意大模型生成内容，勿传播有害信息。内容传播者须自行承担后果。

本项目仅限研究用途，开发者不对使用本项目（包括但不限于数据、模型、代码等）导致的任何损害或损失负责。详见免责声明。

引用/Citation

若您的研究工作使用了我们的模型，请引用：

@article{YAYI-UIE,
  author    = {Xinglin Xiao, Yijie Wang, Nan Xu, Yuqi Wang, Hanxuan Yang, Minzheng Wang, Yin Luo, Lei Wang, Wenji Mao, Dajun Zeng}},
  title     = {YAYI-UIE: 基于对话增强指令微调的通用信息抽取框架},
  journal   = {arXiv预印本 arXiv:2312.15548},
  url       = {https://arxiv.org/abs/2312.15548},
  year      = {2023}
}