NeurIPS 2021 | Garment4D: 从点云序列中重建衣物

点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨MMLab@NTU

来源丨 我爱计算机视觉

编辑丨3D视觉工坊

✎ 编 者 言 

随着元宇宙概念的兴起，与人体相关的研究在这两年也是非常受关注。在人体相关的研究中，衣物，由于其形状与动态高度复杂，所以一直都是研究的焦点与难点。本文聚焦于衣物的三维重建，明确了衣物重建的五大要点，从而选择了点云序列作为输入，并依此设计了衣物数据集的注册，以及衣物重建管线。本文相关论文Garment4D: Garment Reconstruction from Point Cloud Sequences已发表于NeurIPS 2021，数据集与源代码现已开源。

详细信息如下：

• 论文链接：https://papers.nips.cc/paper/2021/file/eb160de1de89d9058fcb0b968dbbbd68-Paper.pdf

• 项目链接：https://hongfz16.github.io/projects/Garment4D.html

• 数据集与代码：https://github.com/hongfz16/Garment4D

      01      

正文

在人体相关的研究与应用中，衣物一直都是绕不开的课题。衣物的重建技术对于元宇宙的一些应用，例如虚拟试衣，虚拟现实/增强现实，或是影视中的视觉特效都是极为关键的。本文作者认为，一个实用且符合工业界图形管线的衣物重建算法，需要符合下面的五个要点。

1. 无歧义：重建的衣物在尺寸与形状上不能有歧义。通常来说，从单目图片进行三维重建都会被歧义性所困扰，所以本文选择从点云输入中进行重建。

2. 可分离：重建的衣物需要能与人体分离。最近一些通过隐函数进行人体与衣物重建的方法虽然能够对人体与衣物进行相对细节的重建，但是衣物与人体无法分离，这就限制了进一步的应用空间。

3. 可解释性：重建的衣物需要有强的可解释性，也即每个片面的定点都要能找到与某个模板模型的对应关系。这个性质对于重贴纹理等下游应用是关键的。而大部分的隐函数方法都不具备这样的性质。也因此，本文选择基于参数化衣物模型进行重建。

4. 宽松衣物重建：不仅重建贴身衣物，而且需要能重建裙子等宽松的衣物类型。之前的工作例如SMPL+D系列，通常只能重建衬衫裤子等贴身衣物，对于裙子这样的宽松衣物束手无策。但是在现实应用中，衣物的种类繁多，绝不仅限于贴身的衣物。

5. 动态重建：捕捉衣物的动态形状的能力。之前的工作仅限于单帧衣物的重建，忽略了衣物在与人体和环境的互动过程中的动态的重建。这对于高质量的衣物重建也是极为关键的。因此本文选择从点云的序列当中去重建衣物，且捕捉衣物的动态。

参数化衣物模型与数据注册

基于上述五个要点，本文选择构建参数化的衣物模型来辅助重建，以获取可分离性与可解释性。本文提出的参数化衣物模型包含三个部分：

• T Pose下的衣物建模（Canonical Garment Model）。与常用的人体参数化模型一致，本文也采用PCA降维算法对数据集中对齐后的T Pose衣物的顶点坐标进行降维压缩，最终每个衣物的形状都可以用一个低维向量表示。

• 差值线性混合蒙皮（Interpolated Linear Blend Skinning）。接着需要将T Pose的衣物形变到不同姿势下。以往的工作通常会取最近邻的人体面片顶点的混合权重作为衣物面片顶点的混合权重，但是考虑到我们需要对于宽松衣物进行重建，因此本文提出对于最近的K个人体面片顶点的混合权重进行差值。

这样蒙皮（skin）之后的衣物面片能够避免出现如下图所示的锯齿状。

iLBS

• 偏移量预测（Displacement Prediction）。参数化衣物模型的最后一步就是对于蒙皮（skin）之后的面片的每个顶点最终再预测一个偏移向量。因为如上图所示，差值线性混合蒙皮算法虽然能够一定程度上使衣物形变到对应姿势下，但是还会存在穿模等情况，并且也无法捕捉动态，因此本文在这里加入了偏移量预测，以增加模型的灵活程度。最终整个参数化人体模型可以由如下公式表示

基于这样的参数化衣物模型，大量未对齐的衣物数据集需要经过注册的处理才能适用于本文的框架。如下图所示，每一种衣物都被对齐到对应的模板模型上，再经过三角重心差值算法（barycentric interpolation）来重新网格化（re-mesh）。最终进行PCA降维，得到注册后的衣物数据集。

pipeline 衣物重建管线

如上图所示，本文提出的衣物重建管线与参数化衣物模型相对应，分为两个部分，第一个部分为T Pose下的衣物重建（Canonical Garment Reconstruction），第二部分为不同姿势下的衣物重建（Posed Garment Reconstruction）。对于第一个部分，本文首先对输入的点云进行语义分割，得到需要重建衣物的点云后直接回归PCA参数，得到T Pose下的衣物。

第二部分，首先对于第一步得到的衣物进行差值线性混合蒙皮得到一个最终重建衣物的初始化，接着通过图卷积网络预测每个顶点的偏移量。最终通过transformer综合时序信息来优化动态重建效果。

      02      

实验结果

本文在大型衣物生成数据集CLOTH3D，以及真实数据集CAPE上进行实验，结果如下所示。Garment4D在所有衣物种类，数据集，指标上都超过了基线方法。

results

为了让大家更直观地理解Garment4D的重建管线，下面给出了重建中每个步骤的可视化

vis

      03      

总结

本文提出了一个全新的基于点云序列的衣物重建方案，达成了无歧义，可分离，可解释，可重建宽松衣物，可捕捉衣物动态的五个目标。并且通过实验证明了其对于基线方法的优势，以及在真实数据上的有效性与鲁棒性。本文代码与注册后的数据集均已开源，欢迎大家前去试用～

▊ 写在最后

Garment4D是由MMLab@NTU（主页：https://www.mmlab-ntu.com）团队提出，本实验室现有博士后职位空缺，有GAN或者neural rendering方面经验者优先，可随时入职，欢迎志同道合的小伙伴加入我们！有意者请联系：ziwei.liu@ntu.edu.sg

本文仅做学术分享，如有侵权，请联系删文。

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码) 3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进 4.国内首个面向工业级实战的点云处理课程 5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解 6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦 7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化 8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~