对偶的概念?
(1)概念
对偶一般来说是以一对一的方式,常常通过某个对合算子,把一种概念、公理或数学结构转化为另一种概念、公理或数学结构:如果A的对偶是B,那么B的对偶是A。在强对偶性成立的情况下由对偶问题可以得到主问题的最优下界,对偶问题是凸优化问题,可以进行较好的求解。
(2)SVM中的对偶算法
原始最大间隔最优化问题,先转为拉格朗日函数问题,再将拉格朗日函数转为求其对偶问题,即将朗格朗日优化问题中的 min(max) 求解顺序对调,变为max(min)。
原朗格朗日最优化目标函数
m
i
n
(
m
a
x
(
L
(
x
,
α
,
β
)
)
)
min(max(L(x,\alpha,\beta)))
min(max(L(x,α,β)))
对偶最优化目标函数
m
a
x
(
m
i
n
(
L
(
x
,
α
,
β
)
)
)
max(min(L(x,\alpha,\beta)))
max(min(L(x,α,β)))
原始问题外层的优化目标参数直接是 x ,无法直接去优化得到这个参数,因为还存在着其他未知的拉格朗日参数。所以,对偶问题外层的优化目标参数是拉格朗日参数,然后通过求得的拉格朗日参数,间接得到最终要求的超平面的参数 x 。这样就可以通过求解对偶问题得到原始问题的最优解。
