点击上方“3D视觉工坊”，选择“星标”
干货第一时间送达
编辑丨机器之心
OpenCV 创始人 Gary Bradski 等人近期发表了一篇 Kornia 的综述。Kornia 是一个基于 PyTorch 的可微分的计算机视觉库，实现了可微的基础计算机视觉算子和可微的数据增广。该项目在 Github 上已经收获了 3k 星。
无论在深度学习还是传统的视觉处理方案中，最常用图像处理库就是 OpenCV 和 PIL 了。然而，因为 OpenCV 和 PIL 都是不可微的，所以这些处理都只可以作为图像的预处理而无法通过观察梯度的变化来对这些算子进行优化 （gradient-based optimization）。因此，Kornia 便应运而生。
-
论文链接：https://arxiv.org/pdf/2009.10521.pdf
-
项目链接：https://github.com/kornia/kornia
-
文档链接：https://kornia.readthedocs.io/en/latest/index.html
Kornia 是一个基于 PyTorch 的可微分的计算机视觉 （differentiable computer vision） 开源库，在 Github 上已经有了 3000 星。为了兼顾传统视觉处理与深度学习的需求，Kornia 实现了：
-
可微的基础计算机视觉算子。
-
可微的数据增广（differentiable data augmentation）。
由于 Kornia 是基于 PyTorch 的，它同时会具备如下特性：
-
可微分性。所有算子的梯度都可以通过 PyTorch 的 AutoGrad 计算，并使用 PyTorch 的优化器（如：Adam）来优化。
-
GPU/TPU 加速。除 CPU 外，Kornia 可以在 GPU 甚至 TPU 中进行运算。
-
批数据处理。同时处理大量数据来提高运行效率。
1.Kornia 可微计算机视觉
为了解决不同计算机视觉领域的问题，比如颜色转换、底层图像处理、图像几何变换、特征检测等，Kornia 设计了如下图的模块。
值得一提的是，Kornia 不仅仅是将 OpenCV 的功能用 PyTorch 重新实现，它同时也将一些传统视觉中不可微的操作可微化，譬如说裁切 （crop） 操作便是通过透视变换 （Perspective transform） 与仿射变换 （Affine transform） 实现的。
基于可微性，Kornia 中传统的视觉方法也可以通过梯度下降的方法来进行优化。比如使用梯度下降的方法来实现图像深度估计 （Depth Estimation）：
详细代码可以参考 https://github.com/kornia/kornia-examples/blob/master/depth_estimation.ipynb
亦或是使用梯度下降的方法来实现图像配准 （Image Registration）：
详细代码可以参考 https://github.com/kornia/kornia-examples/blob/master/homography.ipynb
2.Kornia 可微数据增广
深度学习中最常用的优化方法便是基于梯度的优化，但常用的数据增广库（如 TorchVision，Albumentations）并不具备可微性。为了更好地与深度学习相结合，Kornia 参考了 TorchVision 的 API 并实现了可微的数据增广（DDA, Differentiable Data Augmentation）。目前，开发团队也在持续开发更多的可微分的 2D 图像与 3D Volume 的数据增广，如下图所示（RGB 3D Volume 很少见，实现与否将由社区驱动）。
由于 Kornia 是基于 PyTorch 开发而来的，那么数据增广的逻辑便自然而然地整合进了 PyTorch 的网络中，就像使用卷积层，池化层一样。相似的，我们可以任意定义、保存、载入 Kornia 增广模块，并在任意设备（CPU/GPU/TPU）上运算。尤其在训练中，如果你的 CPU 已经开始超负荷运行了，那么 Kornia 将会更大地提升你的训练速度与 GPU 利用率。
同时， Kornia 的数据增广方法也可以轻松地通过梯度来进行优化。下面的例子展示了如何使用 ColorJitter 来更新图像与增广参数，其中我们通过 nn.Parameter 定义了亮度 （brightness）、饱和度 （saturation）、对比度 （contrast）这三个可微的参数，以及通过 torch.tensor 定义色相 （hue）这一不可微的参数。从结果中，我们可以看到被大学习率（learning rate=1e+5）更新的图像以及三个可微参数的变化。
3. 后话
可微的数据增广乃至于计算机视觉在近几年的社区中不断被更多的人关注。近期的工作，例如 Faster AutoAugment，便是基于 Kornia 的可微性而来的针对自动数据增广策略的优化方法。开发团队表示，他们也希望自己的工作可以更多地应用于各种有潜力的项目。未来，他们将会加入更多的数据增广操作、梯度估计方法，以及增加对 JIT 的支持。
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~
