【E資格不合格から学ぶ】サポートベクターマシンのポイントを解説！

• サポートベクターマシン（SVM）で非線形問題を扱う場合
  　射影関数φを使って線形分離できないデータを高次元の特徴空間に変換し、線形分離可能とする。
• 特徴空間が高次元であるほど計算コストが高くなる。
• カーネルトリックを使用する目的：計算コストを抑える対策

• 正規化線形カーネル　
  　k(x,x´)=xTx´／(||x|| ||x’||)
  　特徴ベクトル　φ(x) = x/||x||
  　※カーネル＝特徴ベクトルの内積
• 線形カーネル
  　k(x_i,y_i) = kx_iTy_i + b
• ガウス動径基底関数（Gaussian）カーネル（＝RBFカーネル(Radial basis function Kernel)）

　上式はカーネル関数の一つでサポートベクターマシン(SVM)など内積のみを扱う線形のアルゴリズムを非線形化する際に登場する。

• 多項式カーネル
  ２つの同じサイズのベクトルx,yを入力とし、スカラーを返す以下のような関数k(x,y)を、多項式カーネルという。
  k(x, y) = (1 + x^Ty)^d
  (次数dは正の整数とする)
• シグモイドカーネル
  K(xⁱ,x^j) = tanh(bx^iTx^j + c)

• 一般にカーネル関数は暗に高次元の「特徴空間」へ写像することを意味する。
  ・モデルの表現力が上がる。
  ・内積計算を回避することができる。
• マージンの外側のデータは予測に影響を与えない。
  （識別では決定境界から最も近いデータが予測に利用される。）
• カーネルはある特徴ベクトルφ(x)の内積として定義される。

• 識別モデル：〈特徴〉　低次元→高次元、学習データ多い 、画像認識
• 生成モデル：隠れマルコフモデル、ベイジアンネットワーク、変分オートエンコーダー(VAE)、敵対的生成ネットワーク(GAN)、画像生成、テキスト生成