【要闻】普林、DeepMind新研究：结合深度学习和符号回归，从深度模型中看见宇宙

本篇文章3335字，读完约8分钟

作者: miles cranmer等

机器的心在编译

参与:杜伟、小船、魔王

简单的符号公式可以比较有效地对世界建模。 符号模型紧凑，具有说明和良好的泛化能力，但不太容易解决高维机器的学习问题。 深度模型擅长在高维空之间学习，但通用性和说明性差。 那么，有没有办法取两者的所长呢？ 这项研究完成了。

如何将深度模型转换为符号方程？

来自普林斯顿、deepmind等机构的研究者提出了将深度学习和符号回归相结合来实现这个目标的处理方案。

符号模型是自然科学的语言。 与深度模型不同，符号模型可以紧凑地解释，具有良好的泛化能力。 简单的符号表达式是对世界建模的唯一有力方法。 1960年，物理学家尤金·维格纳( eugene paul wigner )以“数学在自然科学中不合理的比较有效性”表示惊讶于数学解释物理世界的卓越能力。

在机器学习行业，人们通过遗传算法学习符号模型。 这种方法无法根据输入特征的数量适当缩放。 但是，深度神经网络可以有效地学习高维空之间的模式。 那么，问题来了，我们可以兼任两者的所长吗？

来自普林斯顿大学和deepmind等机构的研究者提出了通过引入强归纳偏差来提取深度模型的符号表示的共同方法。

这种方法的业务原理是，首先在监视设定下训练gnn，鼓励稀疏的潜在表现，然后对学习模型的组件应用符号回归，提取显式的物理关系。

这项研究表明，可以从神经网络中提取正确的已知公式，如力学定律和汉密尔顿动力学。 另外，将此方法应用于宇宙学的例子- -暗物质模拟，发现了新的解析公式。 这个公式可以根据邻近宇宙结构的质量分布预测暗物质的浓度。

另外，与gnn本身相比，从gnn提取的符号形式可以泛化到分布外( out-of-distribution )数据。 这种方法解释了神经网络，为基于神经网络学得到的表达发现新的物理学原理提供了新的方向。

接下来，让我们看看研究者提出这种方法的动机，以及具体方法和实验的细节。

研究动机。

众所周知科学自动化的前提是知识发现的自动化。 但是，在这个过程中，会产生很多问题，比如机器学习模型什么时候成为知识等。 麦克斯韦方程组被认为是科学事实，深度学习模型只是数据插值，这是为什么呢？例如，深度学习确实不能像符号物理模型那样具有良好的泛化性。 但是，要使简单的符号模型具有记述世界的强大性能需要什么呢？

从纯粹的机器学习的角度来看，符号模型具有模型紧凑、有明确的说明性、通用性好等独特的特征。 “符号回归”( symbolic regression )是用于这些符号模型的机器学习算法，可以通过收集多个分析函数来建模数据集。

但是，在机器学习行业一般使用遗传算法学习符号模型，遗传算法本质上与schmidt lipson (2009 )提出的强大程序( brute force procedure )相似，但输入特征的数量 因此，很多机器学习问题，特别是高维机器学习问题在以前传来的符号回归中很少表现出来。

使用遗传算法的符号回归例子。 由算子和变量组成的二叉树表示方程，突变和交叉持续迭代，构成最佳模型。

另一方面，深度学习被说明在高维空间的学习中非常有效率，但是通用性和说明性差。 那么，能不能把以前传来的符号回归和深度学习的特征联系起来呢？ 这项研究给出了答案。

符号回归+深度学习，怎么实现？

在这个研究中，深度模型不仅可以预测目标，而且还使用了可以将这些目标分解为在低维空之间运行的小内部函数的策略。 然后，符号回归使用解析式近似深度模型的各内部函数。 最后，组合提取的符号公式，得到等效的分析模型。

具体步骤如下。

设计具有可分离的内部结构和问题导致的归纳偏差的深度学习模型

使用可用的数据对模型进行端到端的训练。

训练期间，鼓励各内部函数在输入或输出中的潜在表现保持稀疏性。

符号公式拟合在模型内部学到的不同函数。

用等效的符号表达式替换深度模型中的这些函数。

具体地说，在相互作用粒子的例子中，研究者因为内部结构可以分解为与粒子的相互作用物理对应的3个模式函数( modular function )，所以选择了图神经互联网架构。 这里，gnn的“消息函数”相当于力，“节点更新函数”相当于牛顿运动定律。 gnn在基于物理学的许多应用中取得了成功。

下图显示了这个研究实验采用的gnn的内部结构。

请注意，与牛顿力学不同，gnn的消息形成高维潜在向量，节点不需要表示物理粒子，边和节点模型学习任意函数，同时输出不需要处于更新状态( updated state )

最后，通过鼓励gnn内的信息提高稀疏性，在该研究中减少各函数的维数，符号回归容易提取公式。

下图显示了结合gnn和符号回归提取分解公式的过程。

实验效果

牛顿动力学

研究者在具有已知力学规律的简单多体( n-body )系统数据上训练牛顿动力学图互联网。 然后，从用信息函数φ^e学到的表现中，使用这个方法得到已知的力学法则。

如下图4所示，研究者使用的数据集包括基于不同交互法则的二维和三维多体粒子模拟。 模拟本身包括四个或八个粒子的质量和电荷，以位置、速度和加速度作为时间函数的参数。

在现在的系统状态下，研究者训练模型预测各个粒子的瞬时加速度。 为了探究消息表达的大小对把消息解释为力量的重要性，研究者使用standard、bottleneck、l_1、kl四种不同的策略训练了图互联网。

模型性能。

为了判断所学习的模型，研究者使用不同的随机种子生成了新的数据集。 我们发现，采用l_1归一化的模型在很多情况下具有最佳性能，如下表3所示。

表3 :不同模型各数据集的预测损失。

对消息组件的解释

作为解释消息组件的第一次尝试，研究者具有最大的慷慨(或kl分散度) d消息特征( d是模拟的维数)，用各自的特征拟合了真正分力的线性组合。

研究者发现在标准设置下训练的图互联网没有显示出与分力的强烈关联性。

对有效消息大小显式(瓶颈)或隐式( kl或l_1)限制在低维的所有其他模型进行比较所得到的消息与真正的力有很强的相关关系(表1显示了与真正的力的拟合误差)，其中

用符号回归逼近内部函数

这个研究显示了使用符号回归从信息中提取力学法则的方法，没有必要采用关于各个力的形式的先验知识。

详情请点击以下视频。

汉密尔顿力学

根据牛顿动力学例子的数据集，研究者利用汉密尔顿归纳偏压训练flathgn，表明可以针对所有问题而不是力量提取标量势。

性能结果表明，哈密顿模型在全数据集上的表示与l_1归一化模型没有很大差异。

宇宙学中的暗物质晕

最后，研究者将这种方法应用于宇宙学中的暗物质光晕这一现实问题。

研究这个问题时，研究小组使用了来自[40]的开源多暗物质模拟。 研究者选择了这个数据集的第零个模拟，最后的时间步( current day universe )包含215，854个暗物质晕。

下表2中的“best，with mass”行是使用此方法提取的表达式。 研究者在没有质量新闻的情况下进行了同样的分解，发现了感兴趣的类似公式。 如表2所示，两个相邻的相对速度可以用来表示质量。

在这个问题上，符号式的泛化性能比传统的图神经网络好得多。 这反映了尤金·维格纳( eugene wigner )的话。 简单的符号模型语言可以深刻地表达宇宙。

论文地址: arxiv/pdf/2006.11287.pdf

博客地址: astro automata/paper/symbolic-neural-nets /

github地址: github/milescranmer/symbolic _ deep _ learning

交互式demo地址: colab.research.Google/Github/Milescranmer/symbolic _ deep _ learning/BLOB/Master/GN _ Demo _ clal

waic黑客马拉松由世界人工智能大会组委会主办，张江集团、优必选科技、软银集团旗下的软银机器人、watson build创新中心、机心共同承办，受新型冠状病毒大爆发影响，比赛于7月8日