OpenCV之图像分割(五) 证件照背景替换

算法设计步骤：

代码与注释：

1. /*

2. 流程处理思路：

3. 先通过Kmeans训练，目的为了得到背景像素的一个标记（个人觉得没有这个必要，性价比太低了）

4. 利用这个标记跟证件照的原图进行一波处理，得到背景跟前景的一个（0跟255）的分开，架构这个作为mask

5. 对这个马mask进行一波骚操作，目的是为了后面的羽化边缘，得到更加精确的效果，

6. 羽化边缘有几种思路：先讲下这种的，即

7. 利用3X3的内核去掉一个边界像素，再利用高斯模糊得到梯度边缘，得到这个之后，再最后的一步操作中，

8. 会根据梯度的高低赋予不同的边界像素，即由权重得到边界值

9. 最后的操作是根据mask的值赋予不同的值

10. 如果是0则为背景像素

11. 如果是255则为证件照的前景像素

12. 其他的值就根据梯度的大小，权重进行重新赋值

13. */

14.  

15. #include

16. #include

17.  

18. using namespace cv;

19. using namespace std;

20.  

21. Mat labels;

22. Mat centers;

23.  

24. Mat mat_to_samples(Mat &image);

25. int main(int argc, char** argv) {

26. Mat src = imread("toux.jpg");

27. if (src.empty()) {

28. printf("could not load image...\n");

29. return -1;

30. }

31. namedWindow("input image", CV_WINDOW_AUTOSIZE);

32. imshow("input image", src);

33.  

34. // 组装数据

35. int w1 = src.cols;

36. int h = src.rows;

37. int samplecount = w1*h;

38. int dims = src.channels();

39. Mat points(samplecount, dims, CV_32F, Scalar(10));

40.  

41. int index1 = 0;

42. for (int row = 0; row < h; row++) {

43. for (int col = 0; col < w1; col++) {

44. index1 = row*w1 + col;

45. Vec3b bgr = src.at(row, col);

46. points.at(index1, 0) = static_cast(bgr[0]);

47. points.at(index1, 1) = static_cast(bgr[1]);

48. points.at(index1, 2) = static_cast(bgr[2]);

49. }

50. }

51.  

52. // 运行KMeans

53. int numCluster = 4;

54.  

55. TermCriteria criteria = TermCriteria(TermCriteria::EPS + TermCriteria::COUNT, 10, 0.1);

56. kmeans(points, numCluster, labels, criteria, 3, KMEANS_PP_CENTERS, centers);

57.  

58. //我觉得没有必要用这个，毕竟这个的价值只是为了找到背景的标记罢了，

59. //用那么多的时间换取这个，成本太大而收益太低了

60.  
61.  
62.  

63. // 去背景+遮罩生成

64. Mat mask = Mat::zeros(src.size(), CV_8UC1);

65. int index = src.rows * 2 + 2;

66. int cindex = labels.at(index, 0);

67. int height = src.rows;

68. int width = src.cols;

69.  

70. for (int row = 0; row < height; row++) {

71. for (int col = 0; col < width; col++) {

72. index = row*width + col;

73. int label = labels.at(index, 0);

74. if (label == cindex) {

75. // 背景

76. //dst.at(row, col)[0] = 0;

77. //dst.at(row, col)[1] = 0;

78. //dst.at(row, col)[2] = 0;

79. mask.at(row, col) = 0;

80. }

81. else {

82. mask.at(row, col) = 255;

83. }

84. }

85. }

86. //imshow("mask", mask);

87.  

88. // 腐蚀 + 高斯模糊

89. Mat mask_morph, mask_blur;

90. Mat k = getStructuringElement(MORPH_RECT, Size(7, 7), Point(-1, -1));

91. erode(mask, mask_morph, k); //腐蚀操作后的图像白色边界少了一个边界像素，是全部的轮廓边界

92. //imshow("erode-mask", mask);

93. //更新一个骚操作，以前不知道，原来3X3的内核去掉的是广义上的一个边界像素，5X5去掉的是两个边界像素，真香哈哈哈~

94. GaussianBlur(mask_morph, mask_blur, Size(3, 3), 0, 0);

95. //imshow("Blur Mask", mask); //使得边界高斯模糊了原本的0跟255变成0，64，191，255

96.  

97. /*

98. 为什么要进行这步操作呢？

99. 1.羽化边界，先通过形态学腐蚀，为了是轮廓边界在”腐蚀 + 高斯模糊“ 操作后，轮廓边缘的像素保持不变

100. 高斯模糊的原因在于将原本的0跟255的像素变成0，64，191，255，使得边界不会发生突变，可以起到羽化的作用

101.  

102. */

103.  
104.  

105. // 通道混合

106. RNG rng(12345);

107. Vec3b color;

108. color[0] = 217;//rng.uniform(0, 255);

109. color[1] = 60;// rng.uniform(0, 255);

110. color[2] = 160;// rng.uniform(0, 255);

111. Mat result(src.size(), src.type());

112.  

113. double w = 0.0;

114. int b = 0, g = 0, r = 0;

115. int b1 = 0, g1 = 0, r1 = 0;

116. int b2 = 0, g2 = 0, r2 = 0;

117.  

118. for (int row = 0; row < height; row++) {

119. for (int col = 0; col < width; col++) {

120. int m = mask_blur.at(row, col);

121. if (m == 255) {

122. result.at(row, col) = src.at(row, col); // 前景

123. }

124. else if (m == 0) {

125. result.at(row, col) = color; // 背景

126. }

127. else {

128. w = m / 255.0;

129. b1 = src.at(row, col)[0];

130. g1 = src.at(row, col)[1];

131. r1 = src.at(row, col)[2];

132.  

133. b2 = color[0];

134. g2 = color[1];

135. r2 = color[2];

136.  

137. b = b1*w + b2*(1.0 - w);

138. g = g1*w + g2*(1.0 - w);

139. r = r1*w + r2*(1.0 - w);

140.  

141. result.at(row, col)[0] = b;

142. result.at(row, col)[1] = g;

143. result.at(row, col)[2] = r;

144. }

145. }

146. }

147. imshow("背景替换", result);

148.  

149. waitKey(0);

150. return 0;

151. }

原本mask后的部分边缘像素：

该部分继续腐蚀后的像素：边缘减少了2个像素有木有！因为我用的是（5X5）的内核

该部分继续高斯后的像素：得到梯度边缘

证件照最后的效果图：

效果图：