语言：

• 英文 许可证：apache-2.0 库名：transformers 标签：

• 通俗摘要

• 论文摘要

• 生物学

• 医学 数据集：

• pszemraj/scientific_lay_summarisation-elife-norm 小部件：

• 文本：沿特定断层段的大地震不会随机间隔发生，因为积累破裂所需的应变能需要时间。构造板块移动和在其边界积累应变的速率大致均匀。因此，初步近似下，可以预期同一断层段的大破裂将以大致恒定的时间间隔发生。如果后续主震在断层上的滑移量不同，则复发时间可能变化，周期性主震的基本概念需作调整。对于大型板块边界破裂，其长度和滑移量常有两倍的变化。沿圣安德烈亚斯断层南段，复发间隔为145年，并有几十年的变化。平均复发间隔的标准差越小，对未来主震的长期预测就越具体。 示例标题：地震

• 文本：一个典型的前馈神经场算法。时空坐标输入到一个神经网络中，预测重建域中的值。然后，该域映射到传感器域，其中传感器测量值作为监督可用。类别和部分解决的问题包括泛化（第2节）逆问题、不适定问题、可编辑性；对称性。混合表示（第3节）计算与内存效率、表示容量、可编辑性：前向映射（第4节）逆问题网络架构（第5节）频谱偏差、积分与导数。操作神经场（第6节）可编辑性、约束、正则化。表2：神经场工具箱中的五类技术分别解决了学习、推理和控制中出现的问题。（第3节）。我们可以通过可微分的前向映射来监督重建，这些映射转换或投影我们的域（例如，通过2D图像进行3D重建；第4节）。通过适当的网络架构选择，我们可以克服神经网络频谱偏差（模糊性）并高效计算导数和积分（第5节）。最后，我们可以操作神经场以添加约束和正则化，并实现可编辑的表示（第6节）。这些类别共同构成了一个“工具箱”，帮助解决神经场的问题。条件神经场有三个组成部分：（1）编码器或推理函数€，给定观察0 E(0) =2，输出条件潜在变量2。2通常是一个低维向量，常被称为潜在代码或特征代码。（2）Z和神经场参数O之间的映射函数4：Y(z) = O；（3）神经场本身$。编码器€找到给定观察O的最可能z：argmaxz P(2/0)。解码器最大化逆条件概率以找到给定Z的最可能0：argmax P(Olz)。我们讨论了具有不同最优性保证的不同编码方案（第2.1.1节），全局和局部条件（第2.1.2节），以及不同的映射函数Y（第2.1.3节）2. 泛化假设我们希望给定部分或有噪声的点云估计一个合理的3D表面形状。我们需要在其重建域上有一个合适的先验，以泛化到部分观察。神经网络通过其架构和参数0的函数空间表达先验，泛化受此函数空间的归纳偏差影响（第5节）。 示例标题：科学论文

• 文本：'是否在玉米棒和树之外写的是早期客户绳索，你有充分的理由。在橙色的海洋中度过时光。通过聚合我们可以解决它。为什么请挑选一种排序，也是M Getoi的神经症和雨让你允许，所以他的兄弟在使用中，Mjulia的主要是衰老Masastup硬币，只有Oosii房间设置给你我们做我们轻松这个私人oliishs lonthen可能没问题。大家下午好。欢迎来到这堂计算统计学的讲座。如你所见，我不是社交的，我的名字是Michael Zelinger。我是这门课的任务之一，你可能已经在第一堂课中见过我，我快速露了个面。我还将在这门课程的最后三分之一部分讲授内容。所以，关于我的一点介绍，我是这里的老学生，与更好的Bulman一起，我的研究集中在应用于生物医学灾难的因果推断，可能是基因组学或医院数据。如果你们中有人对写学士论文、学期论文或硕士论文关于这个话题感兴趣，可以联系我。我的名字在模型上，我的电子邮件地址可以在目录中找到。我很乐意讨论。你不需要确定，我们可以聊聊。说到这里，让我们开始讲座。今天有一个令人兴奋的话题，我将先分享一些幻灯片，稍后在讲座中我们会转向论文。所以，请耐心等待几秒钟。好的，投影仪启动了。好的，我们开始吧。今天的主题非常重要。它是一种技术，真正构成了数据科学、机器学习和任何现代统计学的基础之一。它叫做交叉验证。我知道你们真的想理解这个主题，我希望你们理解，坦率地说，没有人会在Mineshousen教授的课堂上不理解交叉验证。为了为此设定场景，我想向你们介绍计算统计学中的验证问题。问题是这样的：你在可用数据上训练了一个模型。你拟合了你的模型，但你知道你得到的训练数据总是可能不同，来自环境的一些数据。也许这是一个随机过程。你并不真正知道它是什么，但你知道其他人从同一环境中获得不同批次的数据，他们会得到稍微不同的训练数据，你不在乎你的方法在这个训练数据上表现如何。你希望它在其他你没见过的数据上表现良好，来自同一环境的其他数据。换句话说，验证问题是你想量化你的模型在你未见过的数据上的性能。那么，这怎么可能呢？你怎么可能测量你不知道的数据的性能？解决这个问题的认识是，既然你有一堆数据，你负责控制你的模型看到多少。它的工作方式如下：你可以对模型隐藏数据。假设你有一个训练数据集，这是一堆数据点，所以X是特征，通常是隐藏的国家向量。它肯定不止一个维度。而Y是监督学习的标签。如你之前所见，这与我们在回归中的设置相同。所以你有这个训练数据，现在你选择只使用其中一些数据来拟合你的模型。你不会使用所有数据，你只使用其中的一部分，另一部分你对模型隐藏。然后你可以使用这些隐藏的数据来进行验证，从你的模型的角度来看。这些隐藏的数据是完全未见过的。换句话说，我们解决了我们的验证问题。 示例标题：转录音频 - 讲座

• 文本：'基于Transformer的模型在许多NLP任务中显示出非常有用。然而，基于Transformer的模型的一个主要限制是其O(n^2)O(n 2)时间和内存复杂度（其中nn是序列长度）。因此，将基于Transformer的模型应用于长序列n > 512n>512在计算上非常昂贵。最近的几篇论文，例如Longformer、Performer、Reformer、Clustered attention试图通过近似完整的注意力矩阵来解决这个问题。如果你不熟悉这些模型，可以查看🤗最近的博客文章。

  BigBird（在论文中介绍）是最近解决这个问题的模型之一。BigBird依赖于块稀疏注意力而不是普通注意力（即BERT的注意力），并且可以处理长度高达4096的序列，与BERT相比计算成本低得多。它在涉及非常长序列的各种任务上实现了SOTA，例如长文档摘要、具有长上下文的问答。

  BigBird RoBERTa-like模型现在在🤗Transformers中可用。这篇文章的目的是让读者深入了解big bird的实现，并简化在🤗Transformers中使用BigBird的生活。但是，在深入之前，重要的是要记住BigBird的注意力是BERT完整注意力的近似，因此并不力求比BERT的完整注意力更好，而是更高效。它只是允许将基于Transformer的模型应用于更长的序列，因为BERT的二次内存需求很快变得难以承受。简单地说，如果我们有∞计算和∞时间，BERT的注意力将优先于块稀疏注意力（我们将在本文中讨论）。

  如果你想知道为什么在处理更长的序列时需要更多的计算，这篇博客文章正适合你！

  当使用标准的BERT-like注意力时，可能会遇到的一些主要问题包括：

  所有令牌真的需要关注所有其他令牌吗？为什么不只计算重要令牌上的注意力？如何决定哪些令牌重要？如何以非常高效的方式只关注少数几个令牌？在这篇博客文章中，我们将尝试回答这些问题。

  应该关注哪些令牌？我们将通过考虑句子“BigBird现在可用于HuggingFace进行抽取式问答”来给出一个实际的注意力工作原理示例。在BERT-like注意力中，每个单词将简单地关注所有其他令牌。

  让我们通过编写一些伪代码来思考一个合理的键令牌选择，一个查询令牌实际上应该只关注这些键令牌。我们将假设令牌“available”被查询，并构建一个合理的键令牌列表来关注。

  让我们考虑以下句子作为示例 >>> example = ['BigBird', 'is', 'now', 'available', 'in', 'HuggingFace', 'for', 'extractive', 'question', 'answering']

  进一步假设，我们试图理解“available”的表示，即 >>> query_token = 'available' >>> # 我们将初始化一个空的set，并在本节中填充我们感兴趣的令牌。 >>> key_tokens = [] # => 目前“available”令牌没有任何关注。附近的令牌应该很重要，因为在句子（单词序列）中，当前单词高度依赖于邻近的过去和未来令牌。这种直觉是滑动注意力概念背后的思想。'

  示例标题：bigbird博客介绍

• 文本：'公平地说，你必须拥有非常高的智商才能理解《瑞克和莫蒂》。幽默极其微妙，没有扎实的理论物理基础，大多数笑话都会让普通观众摸不着头脑。还有瑞克的虚无主义观点，巧妙地融入他的性格塑造中——他的个人哲学大量借鉴了《人民意志》文学，例如。粉丝们理解这些东西；他们有真正的智力能力来欣赏这些笑话的深度，意识到它们不仅仅是搞笑——它们对生活有深刻的见解。因此，不喜欢《瑞克和莫蒂》的人确实是白痴——当然，他们不会欣赏，例如，瑞克的存在主义口头禅“Wubba Lubba Dub Dub”中的幽默，这本身是对屠格涅夫的俄罗斯史诗《父与子》的隐晦引用。我现在正笑着想象那些头脑简单的笨蛋在电视屏幕上丹·哈蒙的天才智慧展现时困惑地挠头。多么愚蠢...我多么可怜他们。😂

  顺便说一句，是的，我确实有一个《瑞克和莫蒂》的纹身。不，你不能看。这是仅供女士们看的——而且她们必须证明她们的智商在5分以内（最好是更低）。没什么个人的，孩子 😎' 示例标题：理查德与莫蒂

• 文本：这座塔高324米（1,063英尺），大约相当于81层楼的高度，是巴黎最高的建筑。其底座为正方形，每边长125米（410英尺）。在建造期间，埃菲尔铁塔超过了华盛顿纪念碑，成为世界上最高的人造建筑，这一称号保持了41年，直到1930年纽约市的克莱斯勒大厦完工。它是第一个达到300米高度的建筑。由于1957年在塔顶增加了广播天线，现在它比克莱斯勒大厦高5.2米（17英尺）。不包括发射器，埃菲尔铁塔是法国第二高的独立式建筑，仅次于米约高架桥。 示例标题：埃菲尔 参数： 最大长度：64 最小长度：8 不重复n元大小：3 早停：true 重复惩罚：3.5 编码器不重复n元大小：4 长度惩罚：0.4 束数：4 管道标签：摘要 基础模型：google/long-t5-tglobal-base

long-t5-tglobal-base-sci-simplify: elife子集

探索训练于科学论文“通俗摘要”的长文档模型泛化能力。

通俗摘要是对研究论文或科学研究的总结，用通俗易懂的语言写成，不使用技术术语，旨在让非专家容易理解。

模型描述

此模型是在pszemraj/scientific_lay_summarisation-elife-norm数据集上微调的google/long-t5-tglobal-base版本。

• 在PLOS子集上训练的变体可在此处找到。

使用

建议使用此模型时采用束搜索解码。如果感兴趣，也可以使用textsum实用工具库，大部分功能已为你抽象化：

pip install -U textsum

from textsum.summarize import Summarizer

model_name = "pszemraj/long-t5-tglobal-base-sci-simplify-elife"
summarizer = Summarizer(model_name) # 自动检测GPU
text = "把不想阅读的文本放在这里"
summary = summarizer.summarize_string(text)
print(summary)

预期用途与限制

• 在数据集领域（PubMed/生物科学类论文）之外的泛化能力有待评估。

训练与评估数据

通俗摘要数据集的elife子集。参考pszemraj/scientific_lay_summarisation-elife-norm

训练过程

评估结果

在评估集上达到以下结果：

• 损失：1.9990
• Rouge1：38.5587
• Rouge2：9.7336
• Rougel：21.1974
• Rougelsum：35.9333
• 生成长度：392.7095

训练超参数

训练期间使用的超参数如下：

• 学习率：0.0004
• 训练批次大小：4
• 评估批次大小：2
• 随机种子：42
• 分布式类型