不用再花冤枉钱买设备 iPhone+AI就能建立人脸精确3D图形

不用再花冤枉钱买设备 iPhone+AI就能建立人脸精确3D图形

过去,制作出逼真且不吓人的人脸精确3D重建图需要昂贵的设备和专业技术。但现在,卡内基梅隆大学(CMU)的研究人员利用普通智能手机拍摄的视频实现了这一目标 。

使用智能手机连续拍摄脸部前方和侧面的视频会产生密集的数据云。CMU机器人研究所开发的两步程序利用这些数据,在深度学习算法的帮助下,实现了人脸的数字重建。而且他们的方法可以达到亚毫米精度,优于其他所有基于相机的类似过程。

获得数字重构的人脸,可以用来制作游戏或AR/VR人物形象,也可以用于动画、生物识别甚至医疗程序——精确的面部3D绘制有助于定制外科口罩或呼吸器。

CMU机器人研究所副教授Simon Lucey说:“在计算机视觉和图形学领域,建立面部的3D重构一直是一个未解决的问题,因为人们对面部特征的外观非常敏感。重建过程中即便只出现的微小异常,也会让最终结果看起来不真实。”

激光扫描仪、结构光和多机位工作室可以实现高度精确的面部扫描,但若要使用这些专门的传感器,在大多数场合又显得不划算。

Lucey和他的研究生Shubham Agrawal、Anuj Pahuja开发的方法解决了这一问题,他们的研究成果已经在3月初的科罗拉多州Snowmass举行的IEEE计算机视觉应用冬季会议上公开。他们使用iPhone X的慢动作模式拍摄了15-20秒的视频。

“高帧率慢动作是我们方法的关键之一,因为它产生了一个密集的点云,”Lucey说。

随后,他们采用了常用视觉同步定位和绘图(SLAM)技术,通过对表面上的点进行三角测量来计算其形状,同时利用这些信息来确定相机的位置。

这一步创建了人脸的初始几何形状,但是也会丢失部分数据,使模型出现空白。

在接下来的第2步中,研究人员引入了AI技术。他们首先使用深度学习算法来填补这些空白,识别出一张人脸的轮廓和标志性器官,如耳朵、眼睛和鼻子。这时会出现一个问题:深度学习技术有其局限性。

Lucey解释称,“深度学习是我们每天都在使用的强大工具,但它有一种记忆答案的倾向”,这和追求脸部细节识别的目标背道而驰。这时候就要引入一些经典的计算机视觉技术作为补充。这种方法的效率较低,需要30-40分钟的处理时间,但整个过程可以在智能手机上完成。

除了面部重建,CMU团队的方法还可以用于捕捉几乎任何物体的几何形状,Lucey说。然后,这些物体的数字重建可以整合到动画中,或者通过互联网传输到可以用3D打印机复制物体的网站上。

本文来源前瞻网,转载请注明来源。本文内容仅代表作者个人观点,本站只提供参考并不构成任何投资及应用建议。(若存在内容、版权或其它问题,请联系:service@qianzhan.com)

 

文章标题: 不用再花冤枉钱买设备 iPhone+AI就能建立人脸精确3D图形

Related Post