ソフトマージンSVM

SVM の問題を解く方法として、ソフトマージン法がある。ハードマージン法では、制限条件を満たさないデータを予め除外して問題を解くのに対して、ソフトマージン法では、制限条件を満たさないデータを残して問題を解く。この際、ペナルティを課す。

SVMの予測イメージ

SVM の学習データとして、d 次元のベクトルを xi を用意し、学習データが正例か負例かを示すラベル yi も用意する。

\[ \left\{ (\mathbf{x}_{i}, y_{i}) | \mathbf{x}_{i} \in \mathbb{R}^{d}, y_{i} \in \{-1, 1\}, i = 1, 2, \cdots, n \right\} \]

ソフトマージンSVMでは、次の条件を満たす。

\[ \begin{eqnarray} \left\{ \begin{array}{ll} \mathbf{w}\cdot\mathbf{x}_{i} + b \ge 1 & y_{i} = 1 - \xi_{i}\\ \mathbf{w}\cdot\mathbf{x}_{i} + b \le -1 & y_{i} = -1 - \xi_{i}\\ \xi_{i} \ge 0 & \end{array} \right. \end{eqnarray} \]

よって、ソフトマージンは、

\[ \mathbf{w}\cdot\mathbf{w} + \gamma\sum_{i=1}^{n}\xi_{i} \]

が最小となる、w を求めることになる。パラメーター γ はマージン最大化と誤差の最小化の比率を決める定数である。