CVPR 2025

作者的本文联合指导者是Hongyi Zeng和Wenxuan Liu，来自纽约大学的毕业生。合作者是Dawn Xia，Jinhui Chen和Ziyun Li。相应的作者是纽约大学电子和信息学系教授Sychian Chan，并提供了有关有效人工智能，AUG软件加速和增强现实的研究指导。如今，随着XR逐渐将概念转移到实施中，如何确切地理解“根据用户看到的智能计算”是视觉计算领域中的核心挑战之一。最近，纽约大学和金属实验室的合作研究吸引了该行业的关注。实例的分割：CVPR 2025已正式接受了一种新的实例分割方法，该方法结合了监视信息orfollow -up cular -up cular o2503.218541。与计算的瓶颈ER Food是今天的主要AR/VR耳机，已将摄像机与720p，1080p甚至1440p的射击功能合并。但是，当分割如此高分辨率照片的实例时，推理的延迟可能大于50秒，甚至数百毫秒或秒，以使人类超过数百毫秒或秒。论文发布的实例细分从一个问题开始，“为什么我们要划分一般的全景？”他指出，大多数计算实际上都是在用户根本不关注的领域浪费的。图1中的示例卧室表明，用户的眼睛仅在很小的区域（例如床和橱柜）中，但图3量化了分辨率和延迟之间的关系。当入口从640x640缩小到64x64时，延迟可能落入Chothan 300毫秒至订单的10毫秒。 2。人类视图模式引起的灵感与视觉桌面任务不同。 XR用户的外观是“眼睛障碍”。替代方案：每秒1-3个胶囊，每小时20-200毫秒。在拍摄过程中，大脑进行视觉入口。它被抑制了，外观在外观中具有很高的视野。图2直观地显示了外观/扫视的节奏，作者对雅利安人日常活动数据的统计数据还表明，可以将视频切成只有像素差异的“视图段”，表明片段标记之间的差异很小。如果视线的位移低于0.1阈值，则先前帧的分割结果可以直接多重（图4）。这是一个跨框面具的重复使用，本地限制的分段感觉是Fachuman统计和统计数据的坚实基础。 3.系统摘要：基于此的拟议的FovealSeg框架的作者。 fovealseg：腔室以120 Hz的形式向内定向，其凝视坐标可以通过5-10毫秒的眼球运动获得。外部chambER同步前面的高分辨率图像。第一帧检测是否发生去除（α阈值）并确定场景是否为突变（β阈值）。如果不正确，请将分割的任务限制为当前外观坐标附近的IOI区域，并在历史掩膜中多发性地层面。有关流程图，请参见图5。 4。核心算法：FSNETFOVEALSEG中央网络模块是FSNET。根据距离图，DNN突出度缩放IOI并根据需要压缩底部。 2。双向划分拉姆，以获取最终面具。 3.舞台上的训练：通过固定分割网络，然后进行分割/分类分支，调整第一列火车的精细DNN。骰子的损失 +局部损失的加权区域解决了慢性疾病，其中很容易被底部沉没。图6显示了沿局部IOI放大策略的视觉图，网络结构图和替代训练过程。 5。验证效果：他们赢得的速度和精度。在诸如ADE20K，LVIS，CityScapes等的数据集中，作者证明了Etson Orin NX。 FSNET将入口降低到64x64，并将IAU升高到0.36以上。 FovealSeg还使用跨框架的重复使用，并在α= 0.1和β= 0.01的构型下减少了插槽至ND（不下降采样碱）1⁄75。图7中的直方图直观地显示了在α和β的不同组合下的三个溶液之间的flop间隙，端到端仅为84 ms，并实时返回到互动红线。 6.消融和讨论文件还消除了因素，例如下降采样的增加，高斯核的大小，外观的入口和其他因素。尽管减少采样太大，但它降低了精度，但FSNET仍然比平均分组线更好。核越大，重量越重要，关键和精确的面积COrresponds。将视线的坐标与随机噪声交换，让IAU至少落下0.3，表明外观的信息是该方法的基础。尽管这些比较在表中显示（表3-5），“对人类控制器模型++的设计统计限制的需求。框架之间的多路复用，以将推理多余的冗余提高到极端。