迁移学习里的“源数据”，不一定非得来自真实图像、文本或音频。发表于 ICML 2026 的一项研究提出，在半监督分类设定下，一组从高斯分布中随机采样、没有语义信息的噪声，同样可以帮助模型在少量标注条件下学得更好。
这项工作名为半监督噪声自适应（Semi-Supervised Noise Adaptation，SSNA）。研究团队进一步提出噪声自适应框架（Noise Adaptation Framework，NAF），核心思路是利用随机生成的噪声构造具有判别性的类别结构，再把这种结构迁移到真实目标数据上，提升少量标注场景下的学习效果。论文标题为《Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain》。
论文给出的示意图显示，NAF会把噪声域和目标域投影到共享表征空间，并在类别层面进行对齐。
在每类仅有 4 个标注样本的情况下，基于 ResNet-18 骨干网络，NAF 在 CIFAR-10、CIFAR-100、DTD-47 和 Caltech-101 上的准确率，相比仅使用有标注样本训练的标准监督学习基线 ERM（经验风险最小化，Empirical Risk Minimization），分别提升 12.35、7.61、4.38 和 2.74 个百分点。论文源码目前已经开源。
把真实源域换成噪声
传统迁移学习通常依赖一个标签充足的源域，但真实源数据并不总是容易获得。隐私、保密和版权限制，都可能让源域数据无法共享。SSNA试图去掉这一前提：源域不再放真实样本，而是替换成从简单概率分布中生成的噪声。
具体做法中，假设目标任务包含 C 个类别，研究团队首先在 1024 维空间里为每个类别随机采样一个均值向量，并以单位矩阵作为协方差，构造出 C 个高斯分布。随后再从每个分布中采样 50 个噪声向量。噪声域与目标域使用相同的类别索引集合，每个噪声类别会预先对应一个目标类别索引，但这种对应关系本身不包含语义信息。
也就是说，这里的编号没有语义。噪声类 0 并不天然代表“猫”，它只是训练开始前，被研究者固定对应到目标域中的某一类。真正被迁移的，不是猫或狗的视觉知识，而是噪声域中形成的判别结构。
在这一设定下，同一类别的噪声会被压到一起，不同类别的噪声则被拉开。只要这套结构能够与目标域完成对齐，它就能为真实目标样本提供更清晰的分类边界。
少量标签仍然不可缺少
噪声可以替代真实源数据，但不能完全替代目标域标签。原因也很直接：噪声来自另一个空间，类别编号又是人为指定的，模型必须借助少量已标注目标样本，才能知道噪声类 0 应该和哪个真实类别对齐。
论文在 CIFAR-100 上把每类标注样本降到 0 时，ERM 和 NAF 的准确率分别只有 0.97% 和 1.34%，都接近随机水平。一旦提供少量标注，NAF 便持续超过 ERM。
研究团队据此给出的结论是：在半监督分类设定中，真实源域未必是实现正迁移的必要条件，但少量目标域标签仍然是建立对齐关系所必需的。
NAF 的训练目标拆成三部分
围绕论文给出的泛化上界，NAF 把训练目标拆成三部分。
先用少量真实标签建立桥梁
目标域编码器把真实样本映射到共享表征空间，分类器使用少量标注样本计算交叉熵损失。这一部分与普通监督学习一致，用来建立噪声类和真实类别之间的桥梁。
再让噪声形成清晰的类别结构
噪声投影器负责把随机向量映射到同一个表征空间，分类器则按照预设类别编号识别这些噪声。训练之后，同类噪声会逐渐聚拢，不同类噪声则相互分离。
最后对齐噪声域和目标域
NAF 还会计算噪声域和目标域之间的分布差异。分布对齐模块并不限定具体实现，论文对多种方案进行了比较，最终在实验中经验性采用负域相似度（Negative Domain Similarity，NDS）作为默认机制。
NDS 同时比较两域的全局均值和各类别均值，并用余弦相似度推动它们靠近。未标注目标样本的类别均值，则由模型生成的伪标签迭代估计。
论文指出，整套目标对应三项内容：一项负责真实少量有标注目标样本的分类，一项负责噪声分类，另一项负责目标域和噪声域的分布对齐。给出的泛化上界也对应这三项，即目标域经验误差、噪声域经验误差，以及两域在共享表征空间中的分布差异。
从 CIFAR 到 ImageNet，噪声都带来了增益
主实验覆盖 8 个视觉数据集和 1 个文本分类数据集。除 ImageNet-1K 外，视觉任务均采用每类 4 个标注样本，其余训练样本作为无标注数据。
在 ResNet-18 上，NAF 相较 ERM 的 Top-1 提升分别达到：CIFAR-10 提升 12.35 个百分点，CIFAR-100 提升 7.61 个百分点，DTD-47 提升 4.38 个百分点，Caltech-101 提升 2.74 个百分点。
细粒度分类任务同样有效。使用 ResNet-18 时，NAF 在 CUB-200、Oxford Flowers-102 和 Stanford Cars-196 上相对 ERM 分别提高 8.94、5.51 和 7.74 个百分点。
在更大规模的 ImageNet-1K 上，研究团队为每类保留 100 个标注样本。NAF 达到 37.10% 准确率，比 ERM 高 0.99 个百分点。
文本任务 AG News-4 上，使用 BERT 的 NAF 达到 82.82%，高于 ERM 的 78.64%，差值为 4.18 个百分点。
NAF 也可以直接接入现有半监督方法。论文将其插入 UDA、FixMatch、FlexMatch、DebiasMatch、DST、LERM 和 SA-FixMatch，整体都获得增益。以 CIFAR-10 的 20 轮训练结果为例，UDA 和 FixMatch 加入 NAF 后，准确率分别提高 20.83 和 9.91 个百分点。
真正起作用的不是“随机”，而是结构
论文的消融实验把原因指向同一个因素：类别之间是否具备可分离的结构。
研究团队先把所有类别的噪声都压成同一个点。这样一来，噪声域失去判别结构，NAF 不但没有带来增益，反而出现明显负迁移。CIFAR-10 准确率从 ERM 的 58.15% 降到 33.34%，CIFAR-100 则从 42.24% 降到 6.79%。
相反，当逐步拉大噪声类别中心之间的距离时，CIFAR-100 准确率从 43.80% 一路提高到 49.78%。这组结果说明，噪声类越容易区分，能够提供的结构引导通常越强。
噪声数量反而没有那么关键。每类从 10 个增加到 100 个噪声时，准确率一直稳定在约 50%；增加到 200 个后还略有下降。论文据此认为，只要能够形成可分离模式，少量噪声就足以发挥作用。
研究团队还把噪声域简化成每类一个中心点。无论中心固定还是可学习，结果都高于 ERM；其中可学习中心优于固定中心，但仍低于完整 NAF。
在 Amazon 到 Caltech-10 的迁移实验中，真实源数据整体仍略胜一筹，但噪声源域已经能把准确率从 ERM 的 83.51% 提升到约 88% 至 89%。研究团队据此认为，当真实源数据不可得时，合成噪声可以成为一种成本较低的替代方案。
论文也将这一方法与常见数据增强作了区分。数据增强通常是在真实样本附近做旋转、裁剪、插值或生成；SSNA 则是先构造一个独立噪声域，再在表征空间中完成跨域对齐。
没有语义，结构仍可能迁移
这项工作给迁移学习提供了一个不同以往的视角：源数据之所以能够帮助目标任务，不一定完全依赖其真实语义，表征空间中形成的类别结构本身，也可能成为可迁移的知识。
NAF 利用的正是这一点。它让随机噪声在共享表征空间中形成具有判别性的结构，再借助少量标注样本把这种结构传递给真实数据。实验结果显示，即使源域不包含真实图像、文本或音频，只要保留合适的类别结构，仍可能对目标任务产生正向作用。
换句话说，迁移学习所迁移的，也许不只是“数据表达了什么”，还包括“数据在表征空间中如何组织”。对于隐私受限、版权敏感，或者真实源数据难以获取的场景，这一方向提供了一条新的研究思路。
论文与源码信息
- 论文标题：Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain
- 论文地址：https://arxiv.org/pdf/2606.00558
- 源码地址：https://github.com/AIResearch-Group/SSNA
- 视频解读：https://www.bilibili.com/video/BV1UV7h61EvW/
- 本文来自微信公众号“量子位”，作者：SSNA团队