阅读笔记

以下为个人阅读笔记，原文见 arXiv:2606.10461v1。

ERAlign: 基于能量的 GNN 与 LLM 表示对齐解读

1. 研究背景与动机

文本属性图（Text-attributed Graphs, TAGs）将文本节点属性与图结构相结合，能够描述丰富的关系语义，广泛应用于学术引用网络、社交网络及电商图谱等领域。为了有效学习 TAGs，需要结合节点级别的文本语义与边提供的结构信息。图神经网络（GNNs）擅长通过消息传递建模图拓扑，而大语言模型（LLMs）则能捕捉丰富的语言知识并支持推理。因此，将这两种互补范式协同起来已成为自然的发展趋势。

然而，论文指出，准确对齐 GNN 和 LLM 的表示面临三个关键限制：

1. 约束不足：现有训练主要依赖自回归 token 损失或合成的伪嵌入 - 文本对等代理信号。
2. 粗粒度匹配：对齐通常仅限于输出阶段（如 logit 混合或拼接），未能处理中间表示。
3. 分布不一致：现有方法强调局部样本相似性，但忽视了全局分布一致性，导致潜在空间容易受到分布偏移的影响。

基于此，作者提出了一种基于能量模型（Energy-based Models, EBMs）的表示对齐框架，旨在解决上述问题，实现 GNN 编码的图结构与 LLM 衍生的文本嵌入在共享潜在空间中的分布一致性。

2. 核心方法：ERAlign 框架

作者提出了 ERAlign（Energy-based Representation Alignment）框架。该框架的核心思想是将 GNN 编码的结构信号和 LLM 衍生的文本语义投影到共享的潜在空间中，并强制分布一致性。

如图 1 所示，ERAlign 的整体架构包含以下关键设计：

• 层间对齐（Layer-wise Alignment）：论文统一了 GNN 和 LLM 表示的维度，并匹配其中间层以实现逐层对齐。
• 双向信息融合：
  • 将中间 LLM 语义注入到 GNN 的消息传递过程中。
  • 通过软提示（soft prompts）将图表示反馈给 LLMs。
• 基于能量的目标函数：不同于直接建模数据分布，作者在潜在表示上构建了一组 EBM。EBM 目标通过 Cramér 距离 量化表示的不匹配程度，该距离能够捕捉分布的几何结构，从而减轻跨模态漂移，补充任务特定的监督信号。
• 变体支持：为了支持不同的任务，框架包含两个替代输出头，产生了 ERAlignGNN 和 ERAlignLLM 两种变体，分别覆盖增强器（Enhancer）和预测器（Predictor）范式。

3. 训练策略：能量差异 (Energy Discrepancy)

标准的 EBM 训练通常涉及昂贵的采样过程，因为需要计算不可行的归一化常数（配分函数）。为了解决这一计算瓶颈，论文引入了一种 能量差异（Energy Discrepancy, ED） 最小化方案。

• 避免采样成本：ED 方案不需要标准 EBM 优化之外的额外采样迭代。它通过对比数据样本与适当尺度下噪声扰动样本的能量势来实现训练。
• 理论保证：ED 在理论上保证了更高的训练效率，并通过多尺度估计策略（multi-scale estimation strategy）实现了更强的全局 - 局部建模能力。
• 稳定性：论文还提出了一个稳定项（stabilization term）以提高训练的鲁棒性，减少能量景观的扭曲。

通过降低能量值，该框架能够为下游任务生成对齐良好的表示。

4. 实验评估与结果

作者在八个 TAG 基准数据集上进行了广泛的实验评估。论文认为，ERAlign 在以下方面表现优异：

• 性能表现：ERAlign 在多个数据集上获得了最先进（state-of-the-art）的性能，优于现有方法。
• 监督水平适应性：在半监督设置中，ERAlign 表现出强大的标签效率。
• 跨任务迁移：在零样本跨任务迁移场景下，ERAlign 展现了良好的泛化能力。

5. 总结

本文提出的 ERAlign 框架通过引入基于能量的模型，有效地解决了 GNN 与 LLM 在文本属性图上的表示对齐问题。主要贡献包括：

1. 提出了在共享潜在空间中对齐 GNN 结构表示与 LLM 文本表示的新框架，利用 Cramér 距离和 EBM 目标增强分布一致性。
2. 引入了无需额外采样迭代的 ED 训练方案，并提供了训练效率和全局 - 局部建模的理论保证。
3. 在八个基准数据集上的实验证明了其优越性，并开发了支持不同监督比例和零样本迁移的变体。

该工作为多模态图学习提供了一种原理清晰且高效的对齐范式，为未来结合大语言模型与图结构的研究提供了新的思路。