阅读笔记

以下为个人阅读笔记，原文见 arXiv:2606.14210v1。

论文阅读笔记：From Prompts to Responses: Dual-Sided Data Leakage and Defense in Split Large Language Models

1. 研究背景与动机

随着大语言模型（LLMs）在隐私敏感领域（如金融、医疗）的部署日益增多，用户面临着两难选择：使用外部 API 存在数据泄露风险，而本地全量部署则计算成本过高。为此，分裂学习（Split Learning）作为一种在资源受限条件下进行 LLM 微调与推理的范式应运而生，被称为 Split-LLM。

在典型的 Split-LLM 架构中，模型被分割为三个部分：头部（Head）和尾部（Tail）保留在拥有私有数据的数据方（Data Party），而主体（Body）部署在拥有计算资源的模型方（Model Party）。尽管这种设计旨在隔离敏感数据，但论文指出，现有的研究主要关注通过中间表示进行反演攻击导致的输入提示词（Input Prompts）泄露，而对于生成式响应（Generative Response Outputs）中潜在的敏感信息泄露风险尚未得到充分探索。

作者认为，在高风险领域，输入提示词和输出响应均可能包含高度敏感信息（如投资策略或专有见解）。因此，论文旨在系统性地研究 Split-LLM 生成过程中，信息如何从模型的两端（输入端和输出端）联合泄露，并提出相应的攻击与防御方法。

2. 问题定义与威胁模型

论文基于典型的“头 - 体 - 尾”（Head-Body-Tail, HBT）Split-LLM 场景进行定义。

2.1 架构设置

模型方控制一个完整的预训练 LLM（$M_{full}$），并将其划分为三个片段：

1. 头部 ($\bar{M}_h$)：包含嵌入层和初始的若干解码器/编码器层。
2. 主体 ($\bar{M}_b$)：包含中间的大部分层，保留在模型方服务器。
3. 尾部 ($\bar{M}_t$)：包含最后的若干层和输出投影层。

数据方拥有轻量级的头部和尾部片段。在推理阶段，系统通过自回归生成机制进行多次前向传播，模型方可以获取模型头部的输出激活值 $H$ 和模型主体的输出激活值 $T$。

2.2 威胁模型

论文假设模型方是“诚实但好奇”（honest-but-curious）的攻击者。攻击者在推理阶段拥有以下信息：

• 原始模型片段及微调后的主体模型。
• 模型头部输出的中间激活值 $H$ 和模型主体输出的激活值 $T$。
• （可选）少量与数据方私有数据分布相似的辅助数据。

Figure 1 描述：论文中的 Figure 1 展示了双数据重构攻击的威胁模型。图中描绘了数据方与模型方之间的交互流程，包括 Split-LLM 的微调阶段和推理阶段。在推理阶段，模型方利用获取的中间激活值，试图重构数据方的私有输入 $X$ 和生成的响应 $Y$。该图直观地展示了攻击者如何利用模型两端的泄露信息来进行数据重构。

3. 攻击方法：PIDI

为了揭示 Split-LLM 的新漏洞，作者提出了一种名为 Patched Model Inversion with Dual-Sided Initialization (PIDI) 的双侧攻击方法。这是一种两阶段攻击，旨在同时重构私有输入提示词和输出响应。

3.1 第一阶段：双侧初始化 (Dual-Sided Initialization, DSI)

在此阶段，作者利用文本生成的自回归特性，构建私有输入和响应的初始估计。

• 输入分支：结合模型补全（model completion）和 SIP（Split Inversion with Prompt）技术。
• 响应分支：同样应用相应的初始化技术。 通过联合应用这些技术，攻击者能够生成输入和响应的初步估计版本。

3.2 第二阶段：补丁模型反演 (Patched Model Inversion, PMI)

在获得初始估计后，作者通过一种新颖的补丁模型反演训练方法进一步优化估计。

• 该方法旨在产生优化的嵌入向量。
• 从这些优化后的向量中提取最终的 reconstructed sequence（重构序列）。
• 该策略特别针对长序列问题进行了优化，显著优于之前的反演方法。

Figure 2 描述：论文中的 Figure 2 详细展示了 PIDI 攻击的流程图。图中分为两个主要部分：左侧为“双侧初始化（DSI）”阶段，展示了如何对输入和响应分支分别进行初始化；右侧为“补丁模型反演（PMI）”阶段，展示了如何通过训练优化嵌入向量以提取最终的重构序列。该图清晰地阐释了攻击者如何利用模型两端的激活信息协同工作以最大化泄露风险。

4. 防御方法：ADMI

为了应对来自两端的威胁，论文进一步提出了 Adapter-based DualGuard with Mutual Information Defense (ADMI)。

4.1 核心机制

ADMI 旨在提供强大的经验隐私保护，同时将对任务性能的影响降至最低。其核心包含两个部分：

1. 基于 Adapter 的本地预热策略 (Adapter-based local warmup strategy)：通过在本地对模型进行特定的预热，诱导模型参数的快速变化，从而增加攻击者重构的难度。
2. 互信息正则化 (Mutual Information Regularization)：引入互信息最小化目标，鼓励模型学习隐私保护性的表示，减少中间激活值中包含的敏感信息量。

4.2 优势

与现有的防御方法（如差分隐私、稀疏化、基于 token 的扰动等）相比，ADMI 能够同时防御来自模型头部和尾部的攻击。论文指出，现有的 DualGuard 方法在预热阶段用轻量级投影层替换模型主体并冻结头部，这可能限制了模型适应的程度。而 ADMI 通过 Adapter 机制更好地平衡了隐私与效用（Privacy-Utility Trade-off）。

5. 实验与结论

论文在多样化的任务和模型上进行了广泛实验。结果表明：

• PIDI 攻击的有效性：PIDI 能够显著优于现有的反演方法，成功从 Split-LLM 设置中同时重构输入和输出。
• ADMI 防御的有效性：ADMI 能够有效抵御 PIDI 以及其他最先进的反演攻击，在保护隐私的同时保持了良好的任务性能。

作者已在 GitHub 上公开了代码（https://github.com/FLAIR-THU/VFLAIR-LLM），并基于 VFLAIR-LLM 框架实现了相关工作，为系统评估 Split-LLM 中的隐私风险和防御提供了开源基准。

6. 总结

该论文深入探讨了 Split-LLM 中的双向数据泄露问题，填补了以往研究主要关注输入泄露而忽视输出泄露的空白。通过提出 PIDI 攻击和 ADMI 防御，作者不仅揭示了潜在的安全风险，还提供了一种有效的缓解方案。这项工作对于在隐私敏感领域安全部署 Split-LLM 具有重要的参考价值。