Reading Log 2024 - Gushaokui/FDU-Gong-Lab-Paper-Reading GitHub Wiki

Example

2024.09.01

Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. "Why Should I Trust You?": Explaining the Predictions of Any Classifier. KDD '16. 作者列表. 文章标题. 会议/期刊简称'发表年份.

介绍人：XXX

主要内容这篇文章关注到了用户使用机器学习模型解决分类问题时存在的信任问题，并将信任分为两个层次：(1) 对一次预测结果的信任；(2) 对该分类器模型的信任。针对第一层次，用户得到分类器的一次预测结果，而在这个过程中，分类器对用户而言是一个内部过程不可见的黑盒，这并不利于用户建立对该预测结果的信任；针对第二层次，模型的提出者往往会使用示例数据来评估一个模型的有效性，然而，所选取的测试数据集可能存在数据泄露（data leakage，如病人ID与患病种类存在相关性）或数据偏移（data shift）的情况，导致评估结果无法反映模型现实应用中的真实情况。

针对上述信任问题，作者提出了一种解释器的构想，以模型的特征向量与判断结果为输入，并做出从高维特征向量中提取最显著的可解释性依据，并标注每个依据是否支持判断结果，用户则可结合其先验知识，做出信任与否的判断。作者随后提出了解释器的要求，(1) 可解释性，必须是可为用户理解的，也同特定用户的先验知识水平相关；(2) 局部保真性，提取关键信息必有所遗漏，无法做到全局忠实，但对单词判断而言，必须是局部忠实的；(3) 对模型的全局信任。

针对单次信任问题，作者提出了LIME算法。LIME解释器首先定义了一个可解释表示空间（一组词汇/像素集合），解释器的结果则可以使用一个该空间中的向量进行表示，解释表示的最终确定需要综合考虑该解释表示相对于原特征向量的信息损失与解释表示的复杂程度。为了确保局部保真性，解释器在采样与采样点损失加和权值的赋予上考虑了采样点与目标点的距离。

针对模型的全局信任问题，作者提出SP-LIME（Submodular Pick）。其基本思路为挑选一组原模型数据实例，为用户呈现这些实例的模型分类结果与解释器对该判断过程的解释，帮助用户判断模型的可信程度。这组数据实例的选择依据为，使用尽量少的数据实例覆盖越多的解释表示空间的维度，并忽略只有极少数据实例涉及的维度。

最后，作者使用模拟用户与真实用户，对该解释器的效力与其他解释器方法进行对比测试，分别针对解释器有效性的测试与解释器具体帮助情境的测试。

Takeaways 这篇文章关注到了一个十分重要的机器学习模型中的信任问题，其提出的LIME方法是Explainable Artificial Intelligence（XAI）的一种经典且重要的方法。

Reading Logs

2024.05.21

Ma Y, Wang S, Derr T, et al. Graph adversarial attack via rewiring. KDD'21.

介绍人：刘柯兵

主要内容

本文通过研究图神经网络的对抗性攻击来提升图神经网络的鲁棒性的问题。本文提出结构扰动最常用的攻击方式：加边/减边对图基本属性和重要属性影响较大，难以兼顾攻击效果和“不可感知性”，因此，本文提出了一种基于“重新布线”操作的攻击方法，对基于图神经网络的图分类任务进行攻击。需要注意的是，本文提出的攻击模型为黑盒攻击，即目标模型的任何信息对攻击者都是未知的，攻击通过对模型数据的扰动进行，而模型不变；

本文将攻击的决定过程简化为MDP，对状态转移的概率分布进行估计和采样，并采用强化学习算法的策略梯度算法，通过最大化状态转移的reward，得到最终的攻击策略。在三个真实社交网络数据集上的实验表明了本文提出的方法和各个模块设计的有效性，同时，实验部分还验证了前文提出的重新布线相较于加边/减边在图属性影响和攻击成功率上的优势。

问题讨论：

1、case study的目的是展示本文设计的攻击方法与采样策略能够将攻击集中在图中highest degree nodes，攻击具有很高的效率。虽然budget值很小（≤3），但是基于强化学习的策略梯度算法在求解过程中，根据概率分布考虑到了所有可能的采样情况，并通过寻找最大的reward确定攻击策略，因此能够保证攻击的有效性与集中性；

2、数据集的label确定应该与攻击的具体情况有关。如果攻击的效果（对图结构的影响等）与label划分一致，那么攻击应该对label的扰乱有很好的作用；

3、整个攻击的流程是，在状态t下，先用GCN得到图的节点嵌入和边嵌入，然后按照攻击的分解步骤分别计算每一步的概率，采样，得到一个具体的攻击，执行，转移到状态t+1，得到这步的reward，然后进入下一步。GCN在这里用于生成节点嵌入，reward是基于目标模型计算的，状态网络是攻击的分解步骤的计算和采样过程，强化学习策略梯度算法也作用于这一过程；

4、实验部分与前文的论点印证有，但不是特别充足。

Takeaways

1、提出的方法和求解过程很值得借鉴；

2、实验部分设计了对前文论点进行印证的实验内容。

2024.05.28

Choe M, Kim S, Yoo J, et al. Classification of edge-dependent labels of nodes in hypergraphs. KDD'23

介绍人：谷少奎

主要内容

这篇文章提出了边依赖节点标签的分类问题。这个问题适用于超图结构，因为在超图中，同一个节点（如作者或化学物质）在不同的超边（如论文或化学反应）中可能扮演不同的角色。这种特性在普通图结构中难以表达。这个新的分类问题可以作为测试超图神经网络性能的一个有效的基准任务。为了解决这个问题，研究团队设计了一个名为WHATsNet（Within-Hyperedge Attention Transformer Network）的超图神经网络。这个模型利用一个名为WithinATT的注意力机制，能够根据节点在超边中的相对重要性（通过位置编码表示）来动态地调整节点的嵌入表示。这样模型可以精确地捕捉节点在不同超边中的不同表现。

在六个真实世界的超图数据集上，WHATsNet在边依赖节点标签分类任务中显著并且一致地超过了十个竞争对手。WHATsNet在排名聚合、节点聚类和产品退货预测等多个应用场景中展示了其有效性。这些应用表明了边依赖节点属性在各种任务中的实用价值。

问题讨论

1.可以更换不同的特征聚合器进行节点特征的提取。

2.位置编码特征是根据全局的节点中心性在特定的超边下得到的。

Takeaways

1.提出的节点类比依赖超边是一个关键的问题，值得深入探究。

2.提出的模型较为新颖，实验结论证明了模型的有效性，值得借鉴。

2024.06.04

Ming Zhou, Dan Zhang, Yuandong Wang, Yangli-Ao Geng, and Jie Tang. Detecting Social Bot on the Fly using Contrastive Learning. CIKM'23

介绍人：殷勇杰

主要内容

针对基于LLM驱动的bot难以识别和高质量的bot标注样本过少的问题，本文基于对比学习设计了在少样本下的机器人检测模型。本文提出的模型具有两阶段训练：基于在无标签图上对比学习的预训练阶段还有基于少量样本的微调阶段。在预训练阶段，本文通过将图随机删边来得到不同的两个视图，结合InfoNCE损失函数来训练模型。在微调阶段，本文对有标注节点和无标注节点用不同的损失函数来学习。对于标注节点，本文用监督损失来学习；对于无标注节点，本文用置信一致性损失函数来学习，并且忽略掉置信度较低的节点以减少误差。通过图增强和对比学习的预训练阶段，让模型更好的感知各节点的差异，有利于模型在少量样本中也能学到很好的结果。

本文还将模型进行了在线部署，并且加入智能反馈机制。注册用户可以将自己发现的社交机器人反馈给系统，系统可以捕获目标用户的社交网络来检测并更新数据库，以达到动态地更新模型。

本文在TwiBot-22数据集上打败了十个不同的Baseline，并且通过消融实验证明了该模型的预训练阶段和微调阶段两阶段设计的有效性。另外，本文还通过实验说明了“掩盖节点地少量标签”带来的效果不如随机在图拓扑中删边。因为新式的Bot会虚假构造自己的特征，所以对于标签的随机掩盖不会让模型更好的检测。

问题讨论：

1、本文虽然实现了在线部署，但是使用的并不是专门的在线网页的算法。其在线检测模块没有对整个检测方法有贡献。

2、本文所表述的第一个挑战，即：“LLM驱动的bot难以识别”，不应该是这个论文的特色。这应该是所有基于图的检测方法都尝试克服的问题并且由来已久。以前的bot可以通过复制/模仿真实用户的评论也能逃逸基于内容检测器的检测，虽然LLM的出现让它们的逃逸更顺利，但是本文并没有针对LLM这件事展开工作，仍然是一个标准的基于图的检测方法的研究。

Takeaways

1、本文提出的两个阶段的训练方法值得学习，这不仅拘泥于检测问题。

2、实验设计充分，本工作从多个角度进行了实验设计。

3、本工作用了非常充分的推特用户特征，包括少见的 listed count，这是推特平台中记录用户感兴趣的用户数量。

2024.06.11

E. Arin and M. Kutlu, "Deep Learning Based Social Bot Detection on Twitter," in IEEE Transactions on Information Forensics and Security, vol. 18, pp. 1763-1772, 2023

介绍人：曹馨予

主要内容：

为了应对社交机器人越来越成功地创造出类似人类信息的情况，本文提出需要更先进的解决方案来检测它们。本文提出了一种新颖的深度学习架构，利用三个长短期记忆（LSTM）模型和一个全连接层来捕捉人类和机器人的复杂社交媒体活动。第一层LSTMTC：对每个账户发布的推文内容进行处理，且每条推文的输出都与该推文的元数据连接在一起。即，对每个账户生成一个新的时间序列。第二层LSTMT：将LSTMTC的输出作为第二层的输入进行处理。第三层LSTMAD：将账户描述作为其输入。最后，将 LSTMT 和 LSTMAD 的输出与账户元数据连接起来，然后输入到全连接层，以获得机器人分类标签。

由于本文的架构涉及在不同层级连接的多个组件，针对训练不平衡的问题（LSTMTC梯度更新比其他层频繁），本文提出三种训练策略：（1在所有epoch中训练框架的所有部分；(2) 训练所有部分，直到在验证集中达到最佳性能，在剩余的epoch中，冻结LSTMTC的参数，继续训练框架的其他部分；(3) 先训练整个模型一个 epoch，然后在下一个 epoch 冻结 LSTMTC 的参数。

本文选用四个数据集并用其构建出一个混合数据集共五个数据集以及三个baseline method验证模型性能。实验考虑了超参数对模型性能的影响、三个不同的训练策略、消融实验、模型与baseline method的性能对比这几个方面。实验证明本文提出的模型效果优于选用的三个baseline method。

问题讨论：

本文注意到了模型训练不平衡的问题，于是提出三种不同的训练策略，并将其作为贡献。但实验证明模型训练不平衡并不会对模型性能有大的影响。
本文选用的数据集较为老旧。

Takeaways

本文利用一个较为简单的模型，也解决了bot detction的问题。
本文关于Account Metadata和Tweet Metadata 的字段较为完整，可借鉴。

2024.06.18

Yang Gao, Hongli Zhang, and Xiangzhan Yu. Higher-Order Community Detection: On Information Degeneration and Its Elimination. TON'23

介绍人：刘柯兵

主要内容

利用高阶关系图进行社区检测，能够比在普通图上进行社区检测更好地处理模糊社区或重叠社区的问题。但是高阶关系图面临着新的问题：信息退化。具体指在利用某种定义进行高阶关系提取时，不属于高阶关系的大量普通边会被忽略，导致高阶关系图中的社区结构被破坏，影响社区检测的结果。为了解决该问题，本文作者提出一系列基于三元关系的定义，并在此基础上定义了两个个性化页面推荐算法的适应度函数：mixed connectivity 和 mixed density，其主要目的是同时衡量高阶和普通关系的社区划分效果。同时，作者利用三元关系中的其它定义，定义了包含高阶关系和普通关系的带权邻接矩阵，用于计算PPR算法中的重要性转移矩阵，并据此提出有偏的PPR算法：BPPR。

BPPR的主要阶段有：选取种子节点集合（基于三元关系的定义）、社区扩充（该阶段利用带权邻接矩阵进行有偏转移，计算每个结点的重要性概率，再使用个性化定义的适应度函数进行社区节点选择，以得到同时考虑了高阶关系和普通关系的最优社区节点集合选择方案）

在真实数据集与生成数据集上的实验表明了BPPR在社区检测准确率以及执行时间上的优越性，也证明了维护普通关系对于在高阶关系图中进行模糊社区检测同样具有重要的作用，减轻了高阶关系图的信息退化问题。

问题讨论：

1、关注高阶关系图的信息退化问题，对此进行发现与定义，为本文赋予了较为创新的研究视角和较高的讨论价值

2、模型设计紧扣主题

Takeaways：

1、Related Work的划分角度比较有参考意义

2、超图的信息退化问题在许多下游领域应该都有同样的研究思路，可以据此发散思考

2024.06.25

Yang M, Liu Z, Yang L, et al. Group identification via transitional hypergraph convolution with cross-view self-supervised learning[C]//Proceedings of the 32nd ACM International Conference on Information and Knowledge Management. 2023: 2969-2979.

介绍人：谷少奎

主要内容:

-这篇paper提出了一种用于群组识别 (GI) 任务的新框架 (GTGS)，该任务专注于向用户推荐群组。这项任务的关键挑战是根据用户在之前群组中的参与情况以及他们对特定项目的兴趣来预测用户对群组的偏好。作者认为，传统的基于图的方法通常依赖于成对关系，无法捕捉群组推荐所需的复杂交互。

本文方法：

本文引入了一种新型超图卷积，可以捕获超边内的信息和节点之间的关系。这使得模型能够将用户对项目的偏好传播到群组表示中，从而提高群组推荐的准确性。
提出了一种自监督学习方法，可确保用户对商品的偏好与他们的群组偏好保持一致。通过保持这种内在一致性，模型可以更好地理解用户对商品的兴趣与他们的群组偏好之间的关系。
引入正则化方法以防止群组嵌入的“崩溃”，确保群组表示保持独特和有意义。这有助于区分不同的群组并使群组推荐更加准确。

性能：

该框架在三个真实数据集（Steam、Beibei 和 Weeplaces）上进行了测试，并且始终优于几种基线方法。实验结果表明，GTGS 框架在处理 GI 任务方面表现出色，尤其是在用户-项目交互稀疏或用户加入的组很少的情况下。
与最先进的图神经网络和基于超图的推荐系统相比，GTGS 在 Recall@10 和 NDCG@10 方面取得了显著的改进。

讨论：

CSSL 任务旨在优化用户的项目视图和组视图嵌入之间的一致性。该方法使用对比学习（InfoNCE 损失）来确保每个用户在项目和组视图中的嵌入相似，同时保持不同用户之间的区别。。

Takeaway:

它提供了THC 层和跨视图学习的创新使用使模型能够做出更准确、更稳健的群组推荐，尤其是在交互稀疏的场景中。

2024.07.02

Peng, Hao, et al. Unsupervised Social Bot Detection via Structural Information Theory. ACM TOIS'24

介绍人：殷勇杰

主要内容

为了应对智能发展迅速的bot检测，本文基于结构熵设计无监督学习模型。该模型聚焦于社交平台中用户的行为建设三个不同的视图：推文类型、用户影响力、关注与粉丝比率，并通过结构熵得到出色的社区划分。最后，再根据随机游走确定节点影响力、社区影响力。根据社区影响力和社区结构熵来构建评判标准。

本文全部基于相似度进行建图，不再关心原始拓扑。本文认为机器人在这三个方面的影响力是一样的，并且和其它用户的交互是充分的。因此，该论文采用社区影响力和熵进行机器人社区判别，并且将判别颗粒度设定为社区层面。另外，在社区划分方面，本文采用了贪心的算法来提高社区划分的效率。

本文的研究基础是机器人是相似的，在行为上和人类存在差异。同时，本研究也通过实验说明传统的无监督指标不能有效地在行为上区分bot和人类

问题讨论：

本文提出了个新颖的社区区分方法和无监督检测方案
本文最后的评判标准是基于社交平台中bot大致相似和流行的假设，同时对阈值的选取没有明确讨论。
本文可以考虑bot发布的文本信息作为信息融入其中。

Takeaways

结构熵的方法非常有意义
随机游走的数学推导撰写方法是条例严谨，值得借鉴。

2024.07.16

Xu T, Goossen G, Cevahir H K, et al. Deep entity classification: Abusive account detection for online social networks.{USENIX} Security 21.

介绍人：刘柯兵

主要内容：

研究背景： 在线社交网络（OSNs）吸引了利用滥用账户进行恶意活动的攻击者，这些活动包括经济、政治和个人利益驱动的行为。
现存挑战： 有效的机器学习（ML）防御需要精心设计能够抵御对抗性操纵的特征，获取足够的真实标签数据进行模型训练，并设计一个能够扩展到OSN上所有活跃账户的系统。
本文提出的方法： 介绍了深度实体分类（DEC）框架，利用社交图中的嵌入来检测逃避传统滥用检测系统的滥用账户。
本文的主要贡献： DEC系统在Facebook上部署，持续对所有用户进行分类，估计减少了27%的滥用账户。

问题讨论：

为什么单独训练DNN： DEC使用深度神经网络（DNN）来提取账户的“深层特征”，这些特征通过聚合社交图中直接和间接邻居的属性和行为特征来实现。
模型部署和实际使用时的pipeline： DEC系统包括标签生成、特征提取、模型训练、部署和更新。它通过多阶段多任务学习（MS-MTL）框架，利用大量近似标签和少量高精度人工标签进行训练。

Takeaways：

算法设计和系统架构： DEC能够处理数十亿用户，提取每个实体超过20,000个特征，展示了独特的系统挑战。
特征提取过程： DEC的“深层特征”在评估中显示出没有对抗性适应的迹象。
MS-MTL分类范式： 允许使用单一模型架构为每个滥用类别产生高精度分类器。
生产部署的经验： 两年的Facebook生产部署经验，讨论了从中学到的教训。

总结： DEC系统通过利用社交网络结构和多阶段多任务学习框架，有效地提高了对滥用账户的检测能力，减少了滥用账户的数量，展示了在大规模社交网络中应用机器学习技术的潜力和效果。

2024.07.24

Chang Y Y, Wang W Y, Peng W C. SeGA: Preference-Aware Self-Contrastive Learning with Prompts for Anomalous User Detection on Twitter[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2024, 38(1): 30-37.

介绍人：谷少奎

主要内容:

-这篇论文介绍了一种新颖的框架 SeGA，旨在通过利用用户偏好和带有提示的自对比学习来检测 Twitter 上的异常用户。主要重点是不仅检测机器人，还检测喷子，这些喷子越来越老练，模仿正常用户的行为，使得检测它们变得具有挑战性。

本文方法：

-提出的框架由三个阶段组成——节点特征编码、使用自对比学习进行预训练以及针对异常用户检测的微调。它结合了用户偏好（帖子中的主题和情绪），以帮助区分正常用户、机器人用户和喷子用户。

-SeGA 利用大型语言模型 (LLM)（如 ChatGPT）从用户帖子中提取用户偏好。它将这些信息与自对比学习的提示相结合，以捕捉多方面的用户行为。

-本文介绍了一个新的数据集 TwBNT，其中包括机器人、巨魔和普通用户。该数据集是通过扩展 Twibot-22 基准创建的，并包含新的巨魔注释。

实验设计：

该模型使用自对比学习方法进行预训练，其中使用 LLM 从帖子中提取用户偏好（主题和情绪）。这有助于模型通过用户互动和发布模式的背景来理解用户行为。
经过预训练后，对模型进行微调，将异常用户分为三类：正常、机器人和喷子。最终分类使用 softmax 层根据学习到的嵌入来预测用户类别。

性能：

SeGA 在 TwBNT 基准上比最先进的方法有显著改进（从 3.5% 到 27.6%）。通过对比学习使用用户偏好可以更好地区分用户，尤其是喷子，他们通常比机器人更难检测到。
本文将 SeGA 与六个机器人检测基线（例如 GCN、GAT、BotRGCN）进行了比较，SeGA 在准确率、召回率和 F1 分数方面始终优于它们。

讨论：

-使用 LLM 的基于提示的方法对于学习过程至关重要。探索了各种提示设计，结果表明，捕捉主题-情感对的设计提示比更简单的替代方案效果更好。

Takeaway:

捕捉用户偏好的能力（通过帖子中的主题和情绪）是 SeGA 成功的关键因素。通过使用来自 LLM 的伪标签进行对比学习，该模型可以更好地区分异常用户和正常用户。

2024.07.30

Zhang, Zeyang, et al. Dynamic heterogeneous graph attention neural architecture search. AAAI'23

介绍人：殷勇杰

主要内容

问题背景：动态异构图（Dynamic Heterogeneous Graphs）在现实世界中非常普遍，如社交网络、电子商务网络等，它们包含节点和边的类型以及随时间变化的图结构。现有的动态异构图神经网络（DHGNNs）是手工设计的，无法适应多样化的场景。
DHGAS方法：作者提出了DHGAS，这是一种自动化设计DHGNN架构的方法。它包括：
- 统一的动态异构图注意力框架（DHGA）：允许每个节点同时关注其异构和动态的邻居。
- 定位空间（Localization Space）：确定注意力应当应用的位置。
- 参数化空间（Parameterization Space）：确定如何参数化注意力函数。
- 多阶段可微搜索算法：为了高效探索可能庞大且复杂的搜索空间，作者设计了一种多阶段可微搜索算法。
实验：在多个真实世界的动态异构图数据集上进行了广泛的实验，验证了DHGAS在链接预测、节点分类和节点回归任务上的有效性。

问题讨论

设计挑战：自动化设计DHGNN面临的挑战包括如何设计搜索空间以同时考虑空间-时间依赖性和异构交互，以及如何设计高效的搜索算法。
搜索空间的约束：为了减少搜索空间的复杂性，作者提出了启发式约束，例如尊重图切片的时间顺序。
超网络（Supernet）：使用超网络来评估不同架构的性能，通过优化架构权重和模型权重来实现。
多阶段训练：通过分阶段训练超网络来提高训练过程的稳定性。

Takeaway

DHGAS是首个针对动态异构图的神经架构搜索方法，能够自动发现并适应不同场景下的最优DHGNN架构。通过实验验证，DHGAS在多个任务上显著优于现有的手工设计和自动化基线方法。作者提出的搜索空间和搜索算法有效地平衡了模型的复杂性和表达能力，同时考虑了性能和计算资源的权衡。

2024.08.06

Tang, X., Liao, D., Huang, W., Xu, J., Zhu, L., & Shen, M. Fully Exploiting Cascade Graphs for Real-time Forwarding Prediction. AAAI'21

介绍人：刘柯兵

主要内容

问题背景：用级联图进行在线内容的未来转发度预测
挑战：级联图的嵌入和时序信息的利用。现有级联图嵌入方法存在信息遗漏问题，也没有充分利用在线内容早期发展的时序信息
方法设计：① 设计了一种启发式的方法，对级联图中的关键路径进行采样；之后对节点、路径、图进行嵌入，得到每个级联图快照的嵌入，再使用LSTM对一系列图嵌入进行处理，得到时序信息的图序列嵌入；② 对在线内容历史热度设计了CNN+Attention机制的采样与嵌入，得到时序热度的嵌入 ③ 将级联图与时序信息结合，作为预测的输入，输出在线内容的未来流行度 -实验设计：在来自微博和多媒体平台的真实数据集上验证了本文提出的TempCas与baseline的对比；分别验证TempCas各个模块的有效性；分别验证节点权重各方案的优劣；进一步分析了两个模块在流行度预测中发挥的作用

Takeaway

1、启发式的采样方法 2、实验中对两个模块的分别验证与分析很有借鉴意义

2024.08.21

Efstratiou A, Blackburn J, Caulfield T, et al. Non-polar opposites: analyzing the relationship between echo chambers and hostile intergroup interactions on Reddit[C]//Proceedings of the International AAAI Conference on Web and Social Media. 2023, 17: 197-208.

介绍人：谷少奎

主要内容:

-这篇paper探讨了用户在回音室中的参与度与他们在 Reddit 上与其他社区互动时的敌对倾向之间的复杂关系。作者研究了 13 年来近 600 万用户和 4.21 亿条评论，以研究回音室参与度与大规模政治数据集上的有害群体间互动之间的关系。

主要贡献：

-探究了用户对政治回音室的参与度与群体间互动中的敌对有何关系，以及基于敌对和两极分化的政治社区之间有哪些不同的关系，这些关系如何因政治倾向而变化。

-回音室被定义为用户主要接触肯定观点的信息的环境。本研究采用用户级回音室方法，关注个人行为而非社区特征。

方法论：

数据集：作者分析了 918 个政治子版块，重点关注 2006 年至 2019 年之间的评论。
社区检测：使用基于 TF-IDF 的余弦相似度将子版块聚类为 16 个不同的政治社区。这些聚类分为左倾、右倾或中立。
毒性测量：使用 Perspective API 测量毒性，如果评论充满仇恨、攻击性或无礼，则将其标记为“严重毒性”。
混合效应逻辑回归：研究人员使用混合效应逻辑回归模型来分析用户参与回音室如何影响他们在其他社区发布毒性评论的可能性。

研究结果：

两极分化关系：回音室参与度的提高通常与与其他社区互动时更高的毒性相关。然而，这种关系并不普遍，因为一些社区表现出去极化效应，回音室参与度越高，毒性越低。
同侧敌意：与预期相反，研究发现，政治光谱同一侧的社区（例如，左翼或右翼社区之间）之间的毒性互动比政治倾向相反的社区之间更常见。
社区类型学：研究人员根据三个维度开发了社区间关系的类型学：毒性水平、回音室参与的影响以及社区的政治倾向。最常见的关系类型是无差别（无毒性和非两极化），而两极分化关系在同一政治派别内更为普遍，尤其是在左翼。

Takeaway:

该研究有助于理解回音室和敌对的群体间互动如何共存，为在线政治话语的复杂动态提供了见解。

2024.08.28

Hans W. A. Hanley and Zakir Durumeric. Machine-Made Media: Monitoring the Mobilization of Machine-Generated Articles on Misinformation and Mainstream News Websites. ICWSM'24

介绍人：殷勇杰

主要内容: 随着LLMs的快速发展，在线新闻网站~(Online News Media, ONM)上LLMs生成文章越来越多。另外，LLMs能快速生成虚假文章，这对信息安全等提出挑战。然而，现在缺少对ONM中机器生成文章的大规模调研与分析，这正是本文的工作.

本文提供到本工作收集了2022.01 - 2023.05 的在线新闻媒体中的新闻数据并提供了一个全面且综合地调研, 发现ONM上：

(1). 机器生成文本在大规模的增加;

(2). 因为可信ONM上提前使用LLMs作为辅助撰写，机器生成文本数量在2022年初可信新闻媒体多于不可信新闻媒体;

(3). 更多的网站存在LLMs生成的文章;

(4). 越不流行的网站越有更多占比的机器生成文章;

(5). ChatGPT 的发行促进了机器生成文章在ONM上的产生;

问题讨论：

本文的图中展示了在2023年初，ONM上的机器生成文章数量大幅下降，但是文中没有给出原因.

Takeaway:

本文用一个预训练的模型来给数据打标签，规避了人为标签.
本文用两个不同的数据增强来处理数据，值得学习.

2024.09.03

Ng, L. H. X., & Carley, K. M. BotBuster: Multi-Platform Bot Detection Using a Mixture of Experts. ICWSM'23

介绍人：刘柯兵

主要内容:

-社交媒体上的机器人检测已经受到了多年的发展。目前面临的主要问题包括两个：账号数据的缺失和跨平台的社交机器人检测的缺失。本文旨在构建一个多专家的机器学习模型，用来解决社交媒体机器人检测中，某些数据样本种类缺失的问题，并通过合并训练数据集的方法，解决跨平台检测效果差的问题。

本文方法：

-首先构建了一个混合专家的社交机器人检测机器学习模型，包括：确定信息的专家、数值特征专家、用户名/个人简介专家、推文专家。

-确定信息的专家用于直接确定该账号是否是bot，当账号特征中包含能够确定账号是否为机器人的直接信息时；

-当确定信息的专家不work，转到其余特征的专家，每一个专家接受对应类型的特征输入，并输出两个数据类型：用对应特征得到的机器人概率p，和一个64维的专家嵌入；

-专家权重计算：使用一个门控网络，用所有专家特征的拼接作为输入，学习到每个专家的权重。基于权重对专家输出的机器人概率p加权求和，最终得到对账号是否为机器人的预测概率。

实验设计：

-数据集：十个来自推特的公开数据集和一个手动构建的reddit数据集

-实验设置：设置了两个baseline和4个botbuster的变体，用来检测不同专家在模型表现中的贡献

-结论：每个专家都能取得较好的f1值；与baseline相比，botbuster能够对数据集取得更高的利用率；botbuster在所有数据集上取得比baseline更好的效果；

讨论：

-本文设置了讨论部分，对botbuster的泛化性、鲁棒性进行讨论，同时研究了bot与human之间特征的相似性，和bot特征随时间演变的程度，提出bot检测应该不断迭代以避免bot进化带来的检测能力下降问题

Takeaway:

用门控机制灵活地学习专家权重的分配，确实能够改进数据缺失造成的预测效果下降问题
对bot特征演进和human/bot特征分布的分析是很好的insight和启发

2024.09.10

Salamanos N, Leonidou P, Laoutaris N, et al. HyperGraphDis: Leveraging Hypergraphs for Contextual and Social-Based Disinformation Detection[C]//Proceedings of the International AAAI Conference on Web and Social Media. 2024, 18: 1381-1394.

介绍人：谷少奎

主要内容:

-这篇论文介绍了一种新颖的方法 HyperGraphDis，用于检测社交媒体Twitter上的虚假信息。该方法侧重于利用超图来捕获社交结构（例如转发级联）和用户之间的关系特征。关键创新在于使用超图来表示用户和内容之间复杂的多向关系，而传统图表很难对其进行建模。

本文方法：

-Twitter 社交网络以图形表示，用户为节点，交互（转发、提及等）为边。使用图形分区算法 (METIS) 对该图形进行分区，以将用户分组为群集。

-用户群集被转发级联取代，转发级联形成超图的节点，超边根据用户参与度连接相关级联。

-使用神经网络 HypergraphConv 根据超图结构将节点（级联）分类为包含虚假或非虚假信息。

实验设计：

该方法在四个 Twitter 数据集上进行了测试：2016 年美国总统大选、COVID-19 大流行（MM-COVID 数据集）和两个与健康相关的数据集（Health Release 和 Health Story）。
每个数据集旨在突出虚假信息的不同方面，例如政治、健康相关或大流行相关的假新闻。

性能：

该方法与现有的最先进方法（例如 Meta-graph、Cluster-GCN）进行了评估，并显示出显着的改进，特别是在计算效率和分类准确性方面。它在 MM-COVID 数据集上获得了较高的 F1 分数，例如 89.5%，比以前的方法高出 10%。
超图结构减少了计算时间并提高了可扩展性，使该方法适用于大型数据集，例如涉及社交媒体上的虚假信息检测的数据集。

讨论：

-该方法依赖于丰富的交互数据（如社交网络结构）的可用性，由于隐私限制，这些数据可能并不总是可访问的。未来的工作旨在通过使用全局嵌入来降低复杂性，从而进一步提高可扩展性。

Takeaway:

它提供了一种可扩展的解决方案，用于分析从政治事件到公共卫生危机等各种背景下的虚假信息，利用超图的独特属性更有效地模拟社交媒体互动。

2024.09.24

Liang Xiao, Qi Zhang, Chongyang Shi, et al. 2024. MSynFD: Multi-hop Syntax Aware Fake News Detection. WWW'24

介绍人：殷勇杰

主要内容: 本文使用句法结构进行虚假新闻检测。因为 1.基于社交要素或图片的方法可能因为要素缺失而导致性能不好 2.纯粹因为语义的方法会对word trick的虚假新闻产生歧义，所以作者提出了基于句法结构的方法。本文使用 BERT 生成 word embedding；本文针对依存树构造 multi-hop 子图，并基于注意力机制进行特征聚合。同时，这篇文章使用一个额外的loss来消除关键词的歧视问题在实验方面，这篇文章考虑了九个baselines以及消融实验，充分证明了自己方法的优越性。

问题讨论：

这篇文章仅通过消融实验来证明句法结构是高效的。
这篇文章的multi-hop子图中将不同深度的节点视作同一深度，忽略了深度信息。

Takeaway:

本文使用了门控系统来选择和过滤噪声，值得学习
本文使用module替换来验证自己的信息聚合模块是有效的

2024.10.10

Dai E, Lin M, Zhang X, et al. Unnoticeable backdoor attacks on graph neural networks. WWW'23

介绍人：刘柯兵

主要内容：

通过本文对后门攻击这一类图神经网络的攻击方法进行学习

后门攻击是指通过在被攻击模型的训练集中选择部分节点，给这些节点加上触发器和目标标签，使得在该数据集上训练的模型学习到触发器的存在和目标标签出现的必然相关性，从而在模型的推理阶段，通过给想要攻击的对象节点加上触发器，触发模型对该节点的预测标签输出为目标标签

本文指出目前后门攻击的主要缺陷在于：1. 需要使用大量的改动在训练集节点当中，来达到攻击效果，因此攻击的不感知性差，容易被发现；2.生成的触发器与原图的同质性差，目前的攻击方法很容易被剪枝等防御手段破坏

因此，本文设计了一个二段优化的自适应触发器生成算法：UGBA，通过有目标地选择节点，使得预算利用最大化，控制攻击的范围，保证不可感知性；接着针对选择的节点生成触发器，确保触发器与原图保持相似，避免剪枝防御的审查；

在节点选择阶段，使用一个GCN和k-means算法找出最具代表性的节点作为攻击对象；在触发器生成阶段，利用选择出的节点特征作为输入，使用MLP生成触发器节点的特征和结构；并构造一个双层的损失函数，同时优化节点生成过程中的特征和结构，和攻击的GCN对象；用交替更新法，在固定GCN参数的条件下优化触发器生成器，然后固定触发器生成器，优化GCN模型，使其受到攻击

实验在4个真实的大型数据集上证明了UGBA的有效性、不受剪枝算法影响的能力、和生成的触发器与原图的相似性

问题讨论：

进一步细化了后门攻击的具体细节和本文设计的二阶段触发器生成算法的损失函数的具体细节

Takeaways：

通过本文学习了GNNs的后门攻击算法

本文的可取之处在于提出一个问题场景：图后门攻击的不可感知性问题和不受剪枝算法的影响问题，并用实证分析证明了该问题确实存在，再针对该问题提出解决算法，最后在真实数据集上证明算法的有效性

2024.10.30

Chouaki, Salim, et al What News Do People Get on Social Media? Analyzing Exposure and Consumption of News through Data Donations. WWW'24

介绍人：殷勇杰

主要内容：

传统关于用户受社交平台推荐的研究总是基于爬虫的数据抓取，但是这却不能全面的涵盖用户真正见到的内容以及平台对用户推荐的内容。因此，作者设计了个谷歌插件来收集用户在Facebook真正看到并且关注的内容。

基于该插件，本文收集了 472 位用户的信息，从新闻的分布、质量、多样性和用户的消费方面进行了分析。本文将新闻的曝光分为四种：选择性曝光、偶然性曝光、算法性曝光和针对性曝光。作者发现: 1. 通过数据捐赠来研究社交媒体新闻消费的可行性，并提供了对这一领域的新视角。2. 新闻曝光的复杂性：需要超越将社交媒体上的新闻曝光视为一个整体，因为不同的机制导致新闻出现在用户的Feed中。3.用户更愿意私下接触与自己政治倾向相反的新闻源，这表明用户愿意接触多样化的观点，但可能出于隐私考虑选择不公开。4.用户更可能主动选择低质量新闻源，而不是仅仅因为朋友或平台算法而接触到错误信息。5. 论文强调了对针对性新闻曝光的透明度和监管的必要性，以防止潜在的操纵和误导。

问题讨论：

作者对于新闻曝光的多样性分析仅局限于政治倾向，有些片面；

Takeaways：

本文的分析角度和指标的设计说明可供学习

2024.11.6

Xiaoyu You, et al. Anti-FakeU: Defending Shilling Attacks on Graph Neural Network based Recommender Model. WWW '23.

介绍人：刘柯兵

主要内容：

GNN在推荐系统中取得了良好的应用，然后基于GNN的推荐系统对先令攻击（即注水攻击）具有很高的脆弱性。注水攻击通过向网络中注入水军，使水军与目标物品交互，误导推荐系统错误地向合法用户推荐目标物品。基于GNN的推荐系统的脆弱性的根本原因在于GNN的信息传递过程，通过模仿合法用户，虚假用户可以逃过常规的检测，并且将自己与目标物品的交互信息广泛地传播至被模仿的常规用户。

基于该发现，本文设计了一种包含恶意用户检测和改进的推荐算法的推荐系统。首先，从原始的user-item互动中，根据用户与用户间交互商品的相似性，构建出user-user图，这会使恶意用户在该图中的距离更近，而减小了基于被模仿的item造成的恶意用户与合法用户相似性；接着，在用户图上的恶意用户检测能够输出用户是恶意用户的概率；根据该概率，本文设计了一种加权的GNN推荐学习算法，对恶意概率较高的用户和item，减小其在信息聚合中所占的比例，从而使得恶意信息在图学习中的扩散减小，防止恶意用户对推荐造成的负面影响；

在真实数据集上的推荐、恶意用户检测实验表明，本文提出的框架能够在保持良好的推荐能力的同时，抵御先令攻击的破坏，并且对不同种类的先令攻击具有较好的泛化性

问题讨论：

关于池化机制权重、fake user的定义、推荐任务的衡量指标，以及为什么user-usergraph的构建会比user-itemgraph有效进行讨论

Takeaways：

本文对GNN推荐模型的脆弱性分析和fake user特点的观察、数据验证比较充分，为后文的方法设计提供了充足的动机与理论基础