AAAI 2022 | 对立攻击鲁棒的异质图神经网络

作者 |焦子豪

单位 |南京邮电大学

来源 |MIND Laboratory

论文题目：

Robust Heterogeneous Graph Neural Networks against Adversarial Attacks

收录来源：

AAAI 2022

论文来源：

https://www.aaai.org/AAAI22Papers/AAAI-11130.ZhangM.pdf

论文引见

异质图神经网络 (Heterogeneous Graph Neural Networks, HGNNs) 近年来遭到越来越多的关注，并在许多任务上取得了出色的表示。但是其对对立攻击的鲁棒性不是很好。本文引见并解释了 HGNN 不能很好应对对立攻击的两大缘由：扰动放大效应 (perturbation enlargement effect) 和软留意力机制 (soft attention mechanism)。

接着提出了新的鲁棒 HGNN 框架 RoHe，经过配置一个留意力净化器，能够依据拓扑和特征对歹意邻居中止剪枝。细致来说，为理处置对立扰动的放大效应，本文引入基于元途径的转移概率作为净化器的先验，抑止歹意邻居关于对立 hub 邻居的自信心。然后，净化器会学着 mask 掉低置信度的邻居，从而消弭软留意机制中歹意邻居的负面影响。

问题描画

真实世界中有很多数据集能够应用异质图 (Heterogeneous Graphs, HGs) 中止建模。异质图中包含多种对象和联络。如图 1a，异质图中含有三类对象，分别是 Author(A)，Paper(P)，Subject(S)，以及两类联络，P-A 和 P-S。由于异质图中包含丰厚的高阶结构信息，元途径 (metapath) 可被用于描画这样的信息，好比 P-A-P (同一作者发表的论文) 和 P-S-P (同一主题下的论文)。

为了测试 HGNN 的鲁棒性，在 ACM 数据集上中止逃逸对立攻击测试(在测试阶段中止扰动)，测试结果如图 1b 所示。与 GCN 的精确性仅降落 3 个点相比，一切的 HGNN (HAN, MAGNN, GTN) 的表示均大幅降落，平均为 28 个点。这表明 HGNN 相比 GCN 关于对立攻击的鲁棒性较差。

如图 1a 所示，一个对立攻击的例子是在原有的异质图中添加一条不存在的边 (p1, a3, 红色虚线)，这将会招致歹意的论文结点 p4-p66 在元途径 P-A-P 下成为 p1 的直接邻居。即便它们被分配了较小的留意值，它们依旧能够主导 HAN 中的接受域。

本文以为，HGNN 的这种脆弱性可被归结为以下两个缘由：

1. 扰动放大效应 Perturbation enlargement effect：如图 1d 所示，HGNN 会在很大水平上放大对立 hub 结点（即具有 large degree 的结点）的歹意效应，而 GCN 不会。缘由是 HGNN 由于采用元途径，将 p4-p66 看作是 p1 的直接邻居。

2. 软留意力机制 Soft Attention Mechanism：如图 1c，固然离 p1 较近的结点被分配了较大的留意力值，但是由于边 (p1,a3) 引入的大量歹意结点固然每个的留意力值较小，但数量远远超越 p1 的原本邻居，招致歹意结点产生的留意力值居主导位置。

模型措施

为了减少扰动的放大效应，RoHe 引入了一个转移概率作为我们的净化器的先验，降低对立 hub 邻居的置信度。然后，基于转移概率和特征相似性对感受域中止收缩，mask 掉置信度很低的邻居，处置了软留意力机制不能彻底消弭对立边的问题。最后，应用净化后的留意力聚合一切元途径的邻居信息，将这些元途径中止语义级聚合，最终生成下游任务的节点嵌入。图 2 是 RoHe 的整体框架。

3.1 结点特征映射

由于不同种类的结点的特征可能具有不同的维度，因而 HGNN 通常将不同类结点的特征投影到一个共同的空间上：

其中 是特定的转换矩阵。

3.2 基于特征的相似性

给定元途径 Φ，基于具有相似特征的结点更可能比不相似的结点更重要这一假定，本文构建在元途径 Φ 下，目的节点 v 的邻居 u 到其的重要性描画：

在传统的结点水平留意力机制中，基于特征的重要性 将被直接经过 softmax 被归一化，取得最终的软留意力值 。本文以为 仅仅思索了却点的特征信息，从拓扑学的角度，给予多跳邻居 相同的重要水平，这将招致放大歹意节点的影响。

为理处置上述问题，本文引入了一个可微的净化器来 mask 掉中置信度较低的邻居中的邻居。细致地说，本文首先应用基于元途径的转移概率作为置信度的先验来消弭扰动放大问题。

3.3 转移概率先验

给定元途径，为了对 上的转移概率中止编码，首先计算联络的转移概率矩阵，每个元素 表示从结点 经过联络 转移到 的概率值。进而采用 作为转移概率先验。

3.4 置信度

基于转移概率先验 ，为了判定不牢靠的邻居，本文计算邻居 的可信度向量 ，经过聚合特征相似度 和 ：

3.5 净化mask

本文经过构建一个 mask 向量 来对 mask 操作中止建模，关于目的结点 的一切邻居，有：

其中 是要保存的邻居数量 ，返回的是基于其置信度 的前个最可信的邻居。进而其他邻居将会经过设定其 mask 值为 而被移除掉。

因而，我们能够运用来屏蔽大量的对立性/噪声邻居，经过 softmax 函数得到：

经过这种措施，增强结点水平的留意力，对转移概率中止编码，选择出前T个最牢靠的邻居，缓解了扰动增强和软留意力机制的问题：

3.6 邻居的聚合

最终净化后的留意力值 将会被用于语义水平嵌入 ：

本文的算法如图所示：

实验

RoHe 在 HAN 上的对立防御效果实验：在三个数据集上的不同水平的攻击实考证明了 RoHe 的防御才干。其中 Δ 含义是对立攻击的边数。

RoHe 在 HAN, MAGNN, GTN 上的防御实验：证明了 RoHe 的泛化性。

随机噪声测试：

总结

本文引见了关于异质图神经网络 HGNN 的对立攻击鲁棒性研讨，并剖析了其弱点的缘由。提出了有效的鲁棒 HGNN 框架 RoHe，特性是具有留意力净化器。

更多阅读

# 投 稿 通 道#

让你的文字被更多人看到

如何才干让更多的优质内容以更短途径抵达读者群体，缩短读者寻觅优质内容的成本呢？ 答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或答应以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，爆发出更多的可能性。

PaperWeekly 鼓舞高校实验室或个人，在我们的平台上分享各类优质内容，能够是 最新论文解读，也能够是 学术热点剖析、 科研心得或 竞赛阅历解说等。我们的目的只需一个，让学问真正活动起来。

稿件基本请求：

文章确系个人 原创作品，不曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明白标注

稿件倡议以 markdown格式撰写，文中配图以附件方式发送，请求图片明晰，无版权问题

PaperWeekly 尊重原作者署名权，并将为每篇被采用的原创首发稿件，提供 业内具有竞争力稿酬，细致依据文章阅读量和文章质量阶梯制结算

投稿通道：

投稿邮箱：hr@paperweekly.site

来稿请备注即时联络方式（微信），以便我们在稿件选用的第一时间联络作者

您也能够直接添加小编微信（ pwbot02）快速投稿，备注：姓名-投稿

往常，在 「知乎」也能找到我们了

进入知乎首页搜索 「PaperWeekly」

·