VISReg瞄准JEPA表征坍塌难题,获Yann LeCun连续转发认可
自监督学习新工作 VISReg 近日获得图灵奖得主 Yann LeCun 连续转发,并被其概括为从 VICReg 到 SIGReg 再到 VISReg 的技术延续。该方法把表征正则拆分为“尺度”和“形状”两个独立目标,试图解决 JEPA 世界模型中的表征坍塌问题。论文称,VISReg 不依赖 EMA、教师-学生网络、停止梯度冻结层等启发式技巧,在 15 个数据集上综合表现超过 7 种主流方法,并以约 1/10 的训练数据在 OOD 基准上追平 DINOv2。








