nbanner_product
nbanner_product

普通平面视频一键“长出”3D空间 港中文CVPR2026技术破局沉浸式内容生产困境

阅读:3   更新时间:2026-04-17 14:44:51

你有没有过这样的遗憾?旅行时用手机拍下绝美的雪山全景,回看时却只能看到镜头对准的那一小片区域,转身就能看见的冰川、身后的经幡都被框在了取景器之外;逛展时录下艺术家的装置作品,回到家再看,完全感受不到当时被作品环绕的沉浸感;线下活动的现场视频,屏幕前的观众永远没法获得身处现场环顾四周的真实体验。
我们用视频记录了无数瞬间,却始终没法把当时完整的空间感一同保存下来——这不仅是普通用户的遗憾,更是整个沉浸式内容产业卡了很久的痛点。VR、数字展陈、虚拟文旅、线上看房、互动教育这些场景都在渴求大量360°全景内容,但全景视频的生产长期依赖专业全景相机、多机位拍摄加复杂的后期拼接流程,成本高、门槛高,内容供给远远跟不上市场需求。
而在今年的CVPR2026顶会上,香港中文大学薛天帆团队带来的CubeComposer技术,直接把这个行业痛点给捅破了:普通手机、相机拍的平面视频,不需要额外专业设备,就能直接生成原生4K分辨率的360°全景视频,镜头没拍到的区域AI会自动补全,空间连贯、画面稳定,和专业设备拍出来的全景视频几乎没有差别,相当于给普通视频“开了天眼”,直接长出完整的3D空间。

### 不只分辨率升级,更是底层逻辑突破
以往行业里也有过类似的普通视频转全景的尝试,但大多效果差强人意:不是补出来的区域细节模糊、拼接痕迹明显,就是视频播放时容易抖动跳变,更别提4K高分辨率的效果了——传统方法如果要生成4K全景视频,要么是先出低清版本再超分放大,结果充满“涂抹感”,要么是一次性整体生成,算力成本高到普通机构根本用不起。
而薛天帆团队的CubeComposer从底层逻辑上就换了思路:首先把球形的360°视频拆成6个平面的立方体贴图,时间上拆成多个时间窗口,用时空自回归的方式分步生成,既分散了算力压力,又保证了分辨率和画面质量。
从测试数据来看,在团队自建的4K360Vid数据集上,CubeComposer和之前的最优方案相比,感知质量指标LPIPS下降了近10%,语义一致性指标CLIP提升了4.2%,衡量视频时序稳定性的FVD更是从4.07降到了2.22,说明生成的视频不仅和真实场景更接近,而且画面连贯几乎没有抖动。就算和专业设备拍摄的全景视频比,CubeComposer生成的内容远景细节依然清晰,没有明显的拼接缝,观感几乎没有差别。
团队还专门做了消融实验验证核心设计的作用:如果去掉未来信息预测机制,视频连贯性直接大幅下降;如果去掉连续性设计模块,拼接位置立刻会出现明显裂缝,这两个核心设计正是CubeComposer生成的视频看起来真实自然的关键。

### 从实验室到落地,直接把生产门槛砍到零
为了训练这个模型,团队专门构建了包含11832段4K级全景视频的4K360Vid数据集,全部配了自动生成的语义标注,是目前行业内质量最高的全景视频训练数据集之一。训练时,团队先从360°视频里模拟生成普通视角的视频素材,让模型学习如何从局部视角补全完整的全景空间,推理时按照前后左右上下六个面的顺序分步生成,最后拼接成完整的全景视频,整个流程不需要人工干预,全自动完成。
这项技术真正的价值,远不止把全景视频的分辨率提到了4K那么简单——它直接把全景视频的生产门槛砍到了几乎为零。
以前要做一段高质量360°视频,你得买几万块的专业全景相机,要么搭多机位拍摄系统,还要花大量时间做后期拼接,只有专业团队能做。现在有了CubeComposer,普通人用手机拍一段普通视频,就能自动生成4K全景内容:旅行拍的风景视频,可以直接转成可以自由转动视角的沉浸式回忆,就像你重新站回了当时的场景里;商家拍的门店、样板间视频,不用专门找团队拍全景,一键就能生成线上看房的全景素材;文旅景区、博物馆的宣传视频,直接转成全景内容,用户在家就能云游逛展;甚至是婚礼、聚会的日常记录,都能保存成有完整空间感的全景内容,多年后回看还能有身临其境的感觉。
对于整个沉浸式内容产业来说,这项技术相当于直接打通了内容供给的任督二脉:全网存量的海量普通视频,都有机会被转化成全景内容,VR内容不够看的问题直接得到解决;数字孪生、虚拟场景的构建成本也会大幅下降,一段普通的现场视频,就能扩展成完整的可交互虚拟空间。而这种分步骤、分区域的生成思路,甚至还能给未来的3D内容生成、世界模型研究提供新的方向,复杂的空间生成任务不一定非要一次性完成,像拼地图一样分步补全也能达到很好的效果。

### 背后团队:既有学术积累,又有落地经验
这项研究的通讯作者薛天帆目前是香港中文大学信息工程系的助理教授,本科毕业于清华大学,在MIT拿到博士学位,师从计算机视觉泰斗William T. Freeman,之前还在Google研究院工作多年,参与过的移动设备夜景成像、图像增强算法已经落地到消费级产品里,是计算机视觉领域少有的既有深厚学术积累,又有落地经验的研究者。他的团队长期聚焦计算摄影、视频生成、3D重建方向,已经在CVPR、SIGGRAPH等顶会发表了大量高影响力论文,累计被引用超一万次,这次的CubeComposer也是团队多年技术积累的成果。

现在沉浸式内容的需求已经爆发,但内容生产一直是最大的短板,CubeComposer这类技术的出现,相当于把全景内容的生产工具交到了每个普通人手里。未来我们记录的不再只是镜头里的那一小片画面,而是完整的空间和当时的全部场景,我们留住的不只是视频片段,而是可以重新“走进去”的回忆——这正是AI技术给内容创作带来的最有价值的改变。

已累计预约 5360
  • 手机号 预约成功
  • 手机号 预约成功
  • 手机号 预约成功
  • 手机号 预约成功
  • 手机号 预约成功
  • 手机号 预约成功
  • 手机号 预约成功
  • 手机号 预约成功
  • 手机号 预约成功