图学习专注于开发能够分析和处理图形结构的关系数据的高级模型。该领域在各个领域都至关重要，包括社交网络、学术合作、交通系统和生物网络。随着图结构数据的实际应用不断扩展，对能够有效地跨不同图域进行泛化并处理图结构和特征固有的多样性和复杂性的模型的需求不断增加。应对这些挑战对于释放基于图形的见解的全部潜力至关重要。
图学习中的一个重要问题是开发可以跨不同领域有效泛化的模型。传统方法通常需要帮助解决图数据的异质性，其中包括结构属性、特征表示和不同数据集之间的分布变化的变化。这些挑战限制了模型快速适应新的、未见过的图表的能力，从而降低了它们在现实场景中的适用性。解决这些问题对于推动该领域发展并确保图学习模型可以广泛应用于各个领域至关重要。
现有的图学习模型，特别是图神经网络（GNN），近年来取得了实质性进展。然而，这些模型通常受到对广泛微调和复杂训练过程的依赖的限制。GNN 通常需要帮助管理现实世界图数据的不同结构和特征特征。这种限制阻碍了它们的性能和泛化能力，特别是在处理图形数据表现出显着变化的跨域任务时。这些挑战需要开发更通用和适应性更强的模型。
香港大学的研究人员推出了 AnyGraph，这是一种新颖的图基础模型，旨在克服图数据异构性的挑战。AnyGraph 建立在专家图混合 (MoE) 架构之上，使其能够管理结构级和特征级异构性的域内和跨域分布变化。该模型有助于快速适应新的图领域，使其在处理不同的图数据集方面具有高度通用性和高效性。利用 MoE 架构，AnyGraph 可以动态地将输入图路由到最合适的专家网络，从而优化其跨不同图类型的性能。
AnyGraph 的核心方法论围绕其对 Graph Mixture-of-Experts (MoE) 架构的创新使用。该架构由多个专门的专家网络组成，每个专家网络都经过定制以捕获图数据的特定结构和特征级特征。 AnyGraph中的轻量级专家路由机制使模型能够快速识别并激活给定输入图最相关的专家，从而确保高效、准确的处理。与依赖单一固定容量网络的传统模型不同，AnyGraph 的 MoE 架构使其能够动态适应不同图形数据集的细微差别。此外，该模型结合了结构和特征统一过程，其中不同大小的邻接矩阵和节点特征被映射到固定维度的嵌入。通过采用奇异值分解 (SVD) 进行特征提取来增强此过程，进一步完善模型跨不同图域进行泛化的能力。
AnyGraph 的性能已经通过对 38 个不同图数据集进行的广泛实验进行了严格评估，这些数据集涵盖电子商务、学术网络、生物信息等领域。这些实验的结果凸显了 AnyGraph 卓越的零样本学习能力，证明了其在具有显着分布变化的各种图域中有效泛化的能力。例如，在 Link1 和 Link2 数据集中，AnyGraph 的recall@20 分数分别为 23.94 和 46.42，明显优于现有模型。此外，AnyGraph 的性能遵循缩放定律，模型的准确性随着模型大小和训练数据的增加而提高。这种可扩展性强调了模型的稳健性和适应性，使其成为各种图形相关任务的强大工具。此外，专家路由机制的轻量级特性确保 AnyGraph 可以快速适应新的数据集，而无需进行大量的重新训练，使其成为现实应用程序的实用且高效的解决方案。
总之，香港大学进行的研究有效解决了与图数据异构性相关的关键挑战。AnyGraph 模型的引入代表了图学习的重大进步，为处理不同的图数据集提供了多功能且强大的解决方案。该模型创新的 MoE 架构和动态专家路由机制使其能够跨各个领域有效泛化，在零样本学习任务中展现出强大的性能。AnyGraph 的可扩展性和适应性进一步增强了其实用性，将其定位为图学习领域最先进的模型。
paper: https://arxiv.org/abs/2408.10700
github: https://github.com/hkuds/anygraph
