本月早些时候,在苹果的年度开发者大会WWDC 2022期间,该公司让开发者看到了苹果ARKit 6工具包的改进,该工具包用于在iOS设备上构建AR应用。
尽管苹果还没有透露(甚至确认)AR头显的存在,但我们可以从ARKit中看到蛛丝马迹,从这个苹果自2017年以来一直在推进的用于在iOS设备上构建AR应用的开发者工具包上来看,该公司对AR是认真的。
在2022年的WWDC上,苹果披露了新版本的ARKit 6,它为核心功能带来了改进,因此开发者可以为iPhone和iPad(最终也可能是头显)构建更好的AR应用。
图源:苹果
在WWDC 2022的 "发现ARKit 6 "开发者会议上,苹果ARKit工程师Christian Lipski概述了接下来的内容。
更好的运动捕捉
ARKit包括一个MotionCapture功能,它可以在视频帧中跟踪人,为开发者提供一个 "骨架",以估计人的头部和四肢的位置。这使得开发者可以创建应用程序,将AR元素叠加到人身上,或者将它们相对于人移动(它还可以用于遮挡效果,将AR内容放在人的后面,以便更真实地嵌入到场景中)。
图源:苹果
在ARKit 6中,Lipski说该功能得到了 "一整套的更新",包括改进了对2D骨架的追踪,现在可以估计出对象的左耳和右耳的位置(这对于脸部滤镜、用AR试戴眼镜以及涉及头部的类似功能肯定很有用)。
至于3D骨架,它提供了一个有深度的姿势估计,苹果有望在用户被相机边缘或其他物体遮挡时,以更少的抖动、更多的时间一致性和更强的鲁棒性进行更好的跟踪(尽管其中一些改进只适用于iPhone 12及以上版本)。
相机访问的改进
ARKit 6为开发者提供了对设备摄像头的更多控制,同时将其与 AR 应用程序一起用于跟踪。
图源:苹果
开发人员现在可以在iPhone 11及以上版本和新的iPad Pro(M1)上以30FPS的速度实时访问传入的帧,最高可达4K。开发者仍然可以使用之前的模式,即使用较低的分辨率但较高的帧率(60FPS)。Lipski表示,开发者应该仔细考虑使用哪种模式。4K模式可能更适合专注于预览或录制视频的应用(如虚拟生产应用),但较低分辨率的60FPS模式可能更适合受益于响应性的应用,如游戏。
与 AR 应用程序中更高的视频分辨率类似,即使 AR 应用程序正在使用相机,开发人员现在也可以拍摄全分辨率照片。这意味着他们可以取出1200万像素的图像来保存或用于其他地方。这对于将捕捉照片用作体验的一部分的AR应用来说,这可能是非常有用的。例如,Lipski指出,在一个应用程序中,用户被引导着对一个物体进行拍照,然后用摄影测量法将其转换为一个3D模型。
ARKit 6还让开发者在AR应用使用相机时对其进行更多控制。开发者可以根据需要调整白平衡、亮度和焦距,并可以从每个传入的帧中读取EXIF数据。
更多定位锚
ARKit包括LocationAnchors,它可以为特定城市的AR提供街道级别的追踪(例如,做带有AR效果的转弯指示)。苹果正在将这一功能扩展到更多城市,现在包括加拿大的温哥华、多伦多和蒙特利尔、日本的福冈、广岛、大阪、京都、名古屋、横滨和东京,以及新加坡。
图源:苹果
今年晚些时候,该功能将进一步扩展到新西兰的奥克兰、以色列的特拉维夫-亚福和法国的巴黎。
平面锚定器
平面锚是一种工具,用于在AR会话中跟踪桌子、地板和墙壁等平面物体。在ARKit 6之前,当发现更多的平面时,平面锚点的原点会被更新(例如,移动设备以显示比相机之前看到的更多的桌子)。如果原点在第一次被放置后被旋转,这可能会使增强的物体难以在平面上保持锁定的位置。在ARKit 6中,无论平面的形状在会话期间如何变化,原点的旋转都是静态的。
ARKit 6将与iOS 16更新一起推出,该更新现在已经为开发者提供了测试版,预计将于今年秋季向公众发布。
来源:roadtovr