language:

• 英语 license:
• Apache-2.0
• BSD-3-Clause tags:
• 文本摘要
• LED模型
• 摘要生成
• Longformer架构
• BookSum数据集
• 长文档处理
• 长文本摘要 datasets:
• kmfoda/booksum metrics:
• ROUGE评分 widget:
• text: 沿特定断层段的大地震不会随机间隔发生，因为破裂所需的应变能量需要时间积累。构造板块移动及在边界积累应变的速率大致是均匀的。因此，初步近似下可以预期同一断层段的大破裂将以大致恒定的时间间隔发生。如果后续主震在断层上的滑移量不同，那么复发时间可能变化，周期性主震的基本概念需相应调整。对于大型板块边界破裂，其长度和滑移量常有2倍的变化。沿圣安德烈亚斯断层南段，复发间隔为145年，存在数十年波动。平均复发间隔的标准差越小，对未来主震的长期预测就能越精确。 example_title: 地震案例
• text: '一种典型的正向传播神经场算法。时空坐标输入神经网络，预测重建域中的数值。随后，该域被映射到传感器域，其中传感器测量值作为监督信号可用。类别与章节解决的问题概览（第2节）逆向问题、不适定问题、可编辑性；对称性。混合表示（第3节）计算与内存效率、表示容量、可编辑性。前向映射（第4节）逆向问题网络架构（第5节）频谱偏差、积分与导数。神经场操作（第6节）可编辑性、约束条件、正则化。表2：神经场工具箱中的五类技术各自解决学习、推理和控制中出现的问题。（第3节）我们可通过可微分前向映射监督重建，这些映射转换或投影我们的域（例如，通过2D图像进行3D重建；第4节）借助适当的网络架构选择，我们能克服神经网络频谱偏差（模糊）并高效计算导数与积分（第5节）。最终，我们能操控神经场以添加约束和正则化，实现可编辑表示（第6节）。这些技术共同构成解决神经场问题的"工具箱"。条件神经场包含三个组件：（1）编码器或推理函数€，根据观测0输出条件潜变量2，E(0)=2。2通常是低维向量，常被称为潜码或特征码。（2）映射函数4连接Z与神经场参数O：Y(z)=O。（3）神经场本身$。编码器€寻找给定观测O下最可能的z：argmaxz P(2/0)。解码器通过最大化逆向条件概率寻找给定Z下最可能的0：argmax P(Olz)。我们讨论具有不同最优性保证的编码方案（第2.1.1节），全局与局部条件（第2.1.2节），以及不同映射函数Y（第2.1.3节）2.泛化性假设我们希望基于部分或有噪点云估计合理的3D表面形状。需要在重建域中对表面建立合适的先验以泛化至部分观测。神经网络通过其架构和参数0的函数空间表达先验，泛化能力受此函数空间归纳偏差影响（第5节）。' example_title: 科研论文
• text: '大数据现象的关键特性之一是来自多元数据的巨大多样性。因此，在考虑如何处理这些数据及设计最佳架构前，理解不同环境和场景中数据如何生成十分有益。第2章描述的IT架构演进意味着数据不再由少数大型单体系统处理，而是由一组服务共同处理。与处理层并行，底层数据存储也变得更加分布式。这需要重大范式转变，因为传统事务处理方式（ACID）已无法支持。此外，云计算凭借降低成本、提供按需扩展的优势成为主流方法，但同时也引发隐私、数据所有权等担忧。与此同时，互联网持续指数级增长：每天都有结构化与非结构化数据发布可供处理。为获得竞争优势，企业需将内部资源与外部服务（如金融市场、天气预报、社交媒体等）关联。虽然部分网站提供API以有序访问数据，但无数数据源需要高级网络挖掘和自然语言处理技术。科学进步推动研究者构建新仪器观测宇宙或进行实验以更深入理解物理等领域的规律。人类每年都拥有新望远镜、太空探测器、粒子加速器等设备，这些仪器产生需要存储和分析的海量数据流。工业界对效率的持续追求促使引入新自动化技术和流程优化，而这离不开分析精确描述这些过程的数据。随着越来越多人工任务自动化，机器提供的丰富数据集可实时分析以将效率提升至新水平。最后，物联网的增长正成为主要数据源已显而易见。更多设备配备显著计算能力，能通过传感器生成连续数据流。本章后续章节将考察上述领域，分析它们生成的数据集特点。我们不仅比较数据量，还将从各自视角审视其重要特征。3.1互联网无疑是人类创建的最大数据库。虽然通过此媒介可获得若干描述清晰、清洗过的结构化数据集，但大多数资源具有模糊、非结构化、不完整甚至错误性质。然而，在观点挖掘、社交媒体分析、电子政务等领域的多个案例，清晰展示了这些资源的潜力。能成功挖掘和解读互联网数据者，可在业务中获得独特洞察和竞争优势。企业IT与互联网边缘的数据分析重要领域是网络分析。' example_title: 数据科学教材
• text: '基于Transformer的模型已证明对许多NLP任务非常有用。然而，这类模型的主要限制是其O(n^2)时间与内存复杂度（n为序列长度）。因此，对长序列（n>512）应用Transformer模型计算成本极高。近期多篇论文如Longformer、Performer、Reformer、聚类注意力试图通过近似完整注意力矩阵解决此问题。若不熟悉这些模型，可查阅🤗的最新博文。BigBird（论文引入）是解决此问题的最新模型之一。BigBird依赖块稀疏注意力而非常规注意力（如BERT的注意力），能以比BERT低得多的计算成本处理长达4096的序列。在涉及超长序列的任务（如长文档摘要、长上下文问答）中实现了SOTA。BigBird RoBERTa-like模型现已在🤗Transformers中提供。本文旨在深入解析big bird实现，帮助读者轻松使用🤗Transformers中的BigBird。但需注意，BigBird的注意力是对BERT完整注意力的近似，因此不追求优于BERT完整注意力，而是更高效率。它仅允许将基于Transformer的模型应用于更长序列，因为BERT的二次内存需求会迅速变得难以承受。简言之，若拥有无限算力与时间，BERT注意力将优于块稀疏注意力（本文讨论内容）。若疑惑为何处理更长序列需要更多计算，这篇博文正适合您！使用标准BERT类注意力时的主要疑问包括：所有token真的需要关注所有其他token吗？为何不仅计算重要token的注意力？如何确定重要token？如何高效关注少数token？本文将尝试回答这些问题。应关注哪些token？我们通过例句"BigBird现已可用于HuggingFace的抽取式问答"说明注意力机制。在BERT类注意力中，每个词会简单关注所有其他token。让我们通过伪代码思考查询token实际应关注的合理关键token选择。假设查询token为"available"，构建应关注的合理关键token列表。>>>示例句子为["BigBird","is","now","available","in","HuggingFace","for","extractive","question","answering"]>>>假设我们试图理解"available"的表征>>>查询token="available">>>初始化空集set，随着本节进展填充感兴趣的token。>>>关键tokens=[] #=>当前"available" token无关注目标邻近token应重要，因为在句子（词语序列）中，当前词高度依赖相邻过去与未来token。此直觉是滑动注意力概念背后的核心理念。' example_title: BigBird博客导言
• text: '现有大多数文本摘要数据集包含缺乏长程因果和时间依赖的短篇源文档，且常具有强烈的版式和风格偏差。虽然相关，但这些数据集对未来文本摘要系统的挑战有限。我们通过引入BookSum解决这些问题，这是一个用于长篇叙事摘要的数据集集合。我们的数据集覆盖文学领域源文档（如小说、戏剧、故事），并包含三个难度递增粒度级别（段落级、章节级、全书级）的高度抽象人工撰写摘要。数据集的领域和结构为摘要系统带来独特挑战，包括：处理超长文档、非平凡因果和时间依赖、丰富语篇结构。为促进未来工作，我们训练并评估了多种抽取式和生成式摘要模型作为基线。' example_title: BookSum摘要 inference: parameters: max_length: 64 min_length: 8 no_repeat_ngram_size: 3 early_stopping: true repetition_penalty: 3.5 length_penalty: 0.3 encoder_no_repeat_ngram_size: 3 num_beams: 4 model-index:
• name: pszemraj/led-large-book-summary results:
  • task: type: summarization name: 文本摘要 dataset: name: kmfoda/booksum type: kmfoda/booksum config: kmfoda--booksum split: test metrics:
    • type: rouge value: 31.7308 name: ROUGE-1 verified: true verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNjJmZjMxYTY0OGU3MzNjNmIzNmYyODNlNDg2ZGRhZDAzNTMwMDM5YWMxODc1OTc1ZWE3MzM2OTg1ODFhZDBkNCIsInZlcnNpb24iOjF9.B8BCKgySYVZW910_1zP0LfCpQYJbAe6loyWut76JlgZb2kV1_x9ybqtNESX0ka-lNqhYyXUNDpuS-7pTmsJVDg
    • type: rouge value: 5.3311 name: ROUGE-2 verified: true verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiYzViMmY4ODFjYTc5ODk5MmRhMDQ3ZDRiYWQwMDg0OTk3ZTA4NDAxYTNiNDgyMmI4NDA3ZDMwYWViOTBkODBjNyIsInZlcnNpb24iOjF9.MOhJLDcgvv93mVFL1igIgIiTAH3b2Xa4gmBObq7RF44Mmu8Kxtd1KP7rOlDVFOrtrsooGPGsyE1GMCQ2kqeMDg
    • type: rouge value: 16.1465 name: ROUGE-L verified: true verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNzNjMzEwMTliZGE3ZmQ4M2UxMDAyMTY3YzJjZmMyMDYyN2YyNDM0N2VhNzI1MDc1YTg4MTRjMmEzNjVkNTk1NCIsInZlcnNpb24iOjF9.XLJ-DVKiYLlbw5E5rWADKbzUzf5fNHhlTCWPCC5dU4NI9Yeh76aR7TPt36ZzLDwTBknnR8KHqlaF8F8YAvBUAg
    • type: rouge value: 29.0883 name: ROUGE-LSUM verified: true verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiMTcwNzEwMmE5NjQxZTkzYmQyZDZmNzllYzYyNGI5OTMyNWMwNjdiM2I2YmM5YjdmY2E5OWQ3OTk3ZDA1MTc3YyIsInZlcnNpb24iOjF9.d6rFxjCB6RJNI_pn2DNNSjuZe4rdvj0RatkaTJRp5lP0F_AFfU5Zn9zRWzZJV7V-xMauIc4UhfdoLp9r_-CABA
    • type: loss value: 4.815707206726074 name: 损失值 verified: true verifyToken: eyJhbGciOiJFZERTQSIsInR5cCI6IkpXVCJ9.eyJoYXNoIjoiNTMwMTgxMmJkODY3MjkzOWJhMzJhOTIxMWVkODhjZmM0MWUzMWQ1N2JkZjRhOTQxNmU1YWVjYzQ0MDNlZWI3OSIsInZlcnNpb24iOjF9.mkBQHYhYFfDV6F4klXGJ1dSsF-pbCs-6F9zcw6IYznwmXUjtk7m5J4Zt4JAju5LKz4YizvEcUCl_L0WddnfvDA
    • type: gen_len value: 154.9036 name: 生成长度 verified: