来自新加坡国立大学和其他组织的一个研究团队推出了一项新的渲染技术HOSNeRF，可以用单一的2D摄像机创造出更高分辨率的3D图像。
来自新加坡国立大学和其他机构的一个研究小组宣布了一项新的渲染技术，名为“人-物-场景神经辐射场（HOSNeRF）”，该技术可以在任何时间点从单一视频中创建360°的图像。 能够比传统方法更详细地渲染人的动作，即使是没有用360°相机拍摄的视频。而NeRF是一种使用深度学习技术，从多角度拍摄的2D图像中创建3D图像的方法。
图源：HOSNeRF项目论文
与具有固定构图的图像不同，视频在主体（如人和网球拍）之间产生复杂的互动（如打网球）的情况下，人并不是一直拿着球拍，而是可能放下球拍或拿着一个袋子。要准确地渲染这种人与物体的互动和物体的切换是很困难的，这被认为是视频自由视角渲染的一个挑战。
为了解决这些问题，HOSNeRF引入了一种表达人体骨骼和物体骨骼之间联系的机制，以及处理物体状态变化的机制。在涉及物体与环境互动的视频中，已经成功实现了高精度的自由视点渲染。
研究团队制作的比较图像显示，与其他方法相比，物体的排列、模糊和虚化现象较少。
“Ours”指的是HOSNeRF方案（图源：HOSNeRF项目论文）
该团队还在论文中指出，HOSNeRF专注于“人类和物体”的动态建模，目前缺乏动态表示“背景”的能力。未来将进一步研究背景方面的渲染方法。
来源：moguravr
