ICML20|连续图神经网络；常数曲率图神经网络；贝叶斯图神经网络

1.Continuous Graph Neural Networks

https://arxiv.org/pdf/1912.00967.pdf

本文建立在图神经网络与传统动力系统联系之上。作者提出了连续图神经网络（Continuous Graph Neural Networks，CGNN），它可以将现有的具有离散动力学的图神经网络进行泛化，（GCN等可以被看做是特定离散化方案）。本文的关键点是如何表征节点表示的连续动态性，即节点表示的导数（w.r.t.时间）。受图上现有的基于扩散的方法（例如社交网络上的PageRank和流行模型）的启发，作者将导数定义为当前节点表示形式，邻居表示形式和节点的初始值的组合。本文提出并分析了图上的两种可能的动力学-包括节点表示的每个维度（也称为特征通道）独立变化或彼此交互-两者都有理论上的依据。所提出的连续图神经网络对于过度平滑具有鲁棒性，因此能够构建更深的网络，从而能够捕获节点之间的远程依存关系。

模型的输入是具有节点特征的图，最初使用单个神经网络层对这些节点特征进行编码，而忽略了图结构。然后，使用另一单层神经网络和softmax函数获得logit，接着使用微分方程更改表示形式。红线代表ODE定义的信息传输。

2.Constant Curvature Graph Convolutional Networks

https://arxiv.org/abs/1911.05076

本文来自MIT的学者提出常曲率图卷积神经网络，探究了非欧GCN的优势，发表在ICML2020上。在这项工作中，作者引入了一个扩展的图形卷积网络，它允许学习存在于具有任何曲率符号的常曲率空间(乘积)中的表示。通过将导出的统一陀螺框架与GCNs的有效性相结合来实现这一点(Kipf & Welling, 2017)。Chami等人(2019年);Liu等人(2019)考虑了通过切线空间聚合在双曲空间中学习嵌入的图神经网络。他们的方法将在第3.4节中作更详细的分析。本文的模型更一般化，因为它在一个包含双曲空间的严格超集中产生表示。

3.Bayesian Graph Neural Networks with Adaptive Connection Sampling

https://arxiv.org/abs/2006.04064

作者为图神经网络（GNN）中的自适应连接采样（adaptive connection sampling）提出了一个统一的框架，该框架概括了用于训练GNN的现有随机正则化方法。所提出的框架不仅减轻了深层GNN的过度平滑和过度拟合的趋势，而且使使用GNN进行图分析任务时具有不确定性的学习成为可能。本文不使用现有的固定采样率或在随机正则化方法中手动调整它们作为模型超参数，而是提出了自适应连接采样，可以与GNN模型参数一起以全局和局部方式进行训练。具有自适应连接采样的GNN，在训练上等效于训练贝叶斯GNN的有效近似。在基准数据集上进行消融研究表明，自适应学习采样率是提高GNN在半监督节点分类的关键，并且它不易出现过度平滑和过度拟。