ZPressor：破解3D高斯泼溅多视图输入难题

ZPressor为3D高斯泼溅技术带来突破

在增强现实和虚拟现实等前沿应用中，新视角合成的重要性日益凸显。3D高斯泼溅（3DGS）技术以其实时渲染能力和视觉质量成为该领域的一大进步。然而，传统3DGS依赖耗时的「逐场景优化」，限制了其实际应用。前馈3DGS虽有所改进，但在处理密集输入视图时，因编码器容量有限，面临信息过载问题，导致性能下降和资源消耗增加。

信息瓶颈原理助力ZPressor诞生

为解决信息过载问题，浙江大学研究人员引入信息瓶颈（IB）原理。该原理旨在从输入中提取压缩表示，保留与目标相关信息，压缩无关信息。基于此原理，研究人员提出了ZPressor模块，它轻量级且「架构无关」，能将多视图输入高效压缩成紧凑的潜在状态Z，剔除冗余信息，解决了前馈3DGS的信息过载难题。

ZPressor的高效信息压缩三步法

• 锚点视图选择 ：ZPressor通过「最远点采样」方法，基于相机位置选择锚点视图，确保其在空间上具有多样性，能代表整个场景。
• 支持视图归属 ：确定锚点视图后，根据相机距离将剩余支持视图分配到最近的锚点视图，保证信息的「对口」融合。
• 视图信息融合 ：采用定制化的交叉注意力模块，将支持视图信息整合到锚点视图中，形成精炼全面的Z态，避免冗余。

ZPressor显著提升模型性能

通过对DepthSplat、MVSplat和PixelSplat等经典模型在大规模基准数据集上的实验验证，ZPressor对前馈3DGS模型产生了变革性影响。它解决了现有模型的内存障碍，提升了性能，在输入视图增加时，能保持3D高斯数量、推理延迟和峰值内存使用量的稳定。

ZPressor应用前景广阔

ZPressor不仅在基准测试中表现出色，还能提升模型在现实世界应用中的可扩展性、鲁棒性和效率。它使AR/VR体验更流畅、逼真，降低硬件资源需求，加速技术普及。此外，基于信息瓶颈的压缩范式有望在其他AI领域发挥作用，开启「通用信息压缩」时代。