[CVPR 2026] VISA：解耦架构破局“对齐税”，打造不丢失知识的个性化 LLM

TL;DR

在追求个性化 AI 的道路上，我们总是在“对齐价值观”与“保留知识”之间左右为难。本文提出的 VISA (Value Injection via Shielded Adaptation) 框架，通过引入一个轻量级的“价值改写器 (Value Rewriter)”，成功在不触动原始模型知识库的前提下，精准注入特定社交偏好。实验证明，VISA 在事实一致性上超越了 GPT-4o，并彻底解决了传统微调导致的“价值漂移”难题。

痛点深挖：沉重的“对齐税 (Alignment Tax)”

当前的 LLM 对齐范式存在一个内在悖论：

1. Value Drift (价值漂移)：当你试图教模型学习新的数学知识时，它可能会在潜移默化中吸纳数据里的偏好，导致原本设定的价值观发生偏移。
2. Knowledge Forgetting (知识遗忘)：如果你通过 Prompt 或微调强行让模型变得更温和/激进，它往往会产生幻觉，甚至忘记原本的事实。

作者通过实验发现（见下图），即使是在中性数据集上进行知识微调，模型的价值观轴线也会发生剧烈波动。这是因为在现有的神经网络中，知识与价值被编码在了同一组参数里。

方法论：VISA 的“外科手术式”注入

VISA 放弃了全参微调的“大锤”，转而使用一种精密解耦的模块化方案。其核心流程如下：

1. 坐标系建立

首先，系统利用 Detector (检测器) 和 Translator (翻译器)，根据 Schwartz 基础价值理论（涵盖成就、权力、安全等10个维度），将抽象的自然语言指令（如“让语气更偏向传统主义”）转化为高维空间的 Value Vector (价值向量)。

2. 闭环改写架构

• Frozen Base LLM：作为稳定的“知识图书馆”，提供原始的、事实准确的响应。
• Value Rewriter (${\pi }_{h}eta$)：一个轻量级模型，它接收“原始响应 + 目标价值向量”，执行改写任务。

3. 基于 GRPO 的强化学习

为了训练 Rewriter，作者采用了 Group Relative Policy Optimization (GRPO)。其精妙之处在于复合奖励函数：

• $R_{val}$ (价值精度)：测量输出与目标向量的余弦相似度。
• $R_{cons}$ (语义完整性)：通过事实分析器 (Fact Analyzer) 确保改写后的内容没有丢失原有的关键步骤或事实。

实验战绩：比 GPT-4o 更“忠于事实”

在与 GPT-4o、Gemini-3-Pro 等闭源模型的正面对抗中，VISA 展现出了极强的统治力：

• 语义一致性：在所有测试指标中，VISA 达到了 0.8732 的高分，显著优于 GPT-4o 及其变体，这意味着 VISA 极少产生幻觉。
• 对齐精度：随着模型参数从 0.6B 扩展到 8B，VISA 的联合成功率（JSR）稳步攀升，远超 DPO 和 SimPO 等传统偏好优化方法。

案例分析

在一个任务优先级排序的改写任务中，GPT-4o 往往会因为要迎合某种价值观而编造出原本不存在的“可持续发展”等概念，导致事实一致性跌至 0.03。而 VISA 在将价值观余弦相似度提升至 0.88 的同时，依然保持了 0.87 的知识一致性。

深度洞察：迈向“千人千面”的 AI

VISA 的意义不仅在于刷榜，它开启了一种自适应价值搜索 (Adaptive Value Search) 的新可能。在对齐目标模糊的情况下，VISA 可以作为一个 Meta-Learner，通过内、外双层循环自动寻找最佳的帕累托平衡点。

局限性分析：虽然 VISA 在改写任务上表现卓越，但目前仍依赖于辅助模块（检测器和翻译器）的准确性。未来，如何将整个流水线进行端到端的端侧轻量化部署，将是该技术落地企业级定制化 AI 的关键。

总结 (Takeaway)：如果想让 LLM 既博学又听话，不要试图修改它的记忆，而应该给它换一个更懂社交辞令的“发言人”。