【E資格不合格から学ぶ】主成分分析のポイントを解説！

　「主成分分析（PCA：Principal component analysis）」は、機械学習において説明変数を何にするか決める時に利用するもので、説明変数の数が減り、計算量が減少しまた過学習を防止することが期待できるものですが、理解できないケースは非常に多いです。

　私は過去に基本情報技術者試験（旧：第二種情報処理技術者試験）に合格し、また2年程前に「一般社団法人 日本ディープラーニング協会」が主催の「G検定試験」に合格しました。現在、「E資格」にチャレンジ中ですが３回不合格になり、この経験から学習の要点について学ぶ機会がありました。

　そこでこの記事では、「主成分分析」のポイントを解説します。

　この記事を参考に「主成分分析」が理解できれば、E資格に合格できるはずです。

<<「主成分分析」のポイントを今すぐ見たい方はこちら

　

1.アウトライン

　　　　　　　

2.数学的定式化

ⅰ.データ形式の説明

ⅱ.主成分分析の説明

• 係数ベクトルが変われば線形変換後の値が変化
  〇情報の量を分散の大きさと捉える
  〇線形変換後の変数の分散が最大となる射影軸を探索
• 以下の制約付き最適化問題を解く
  〇ノルムが1となる制約を入れる(制約を入れないと無限に解がある)
  　目的関数　arg max aT_jVar(X)a_j 制約条件　a_jTa_j =1
• 制約付き最適化問題の解き方
  〇ラグランジュ関数を最大にする係数ベクトルを探索(微分して0になる点)
  　　　　　　　　　　　　　　　ラグランジュ乗数
  　ラグランジュ関数　E(a_j) = a_jTVar(X)a_j – λ(a_jTa_j – 1)
  　　　　　　　　　　　　　　目的関数　　　制約条件
• ラグランジュ関数を微分して最適解を求める
• 元のデータの分散共分散行列の固有値と固有ベクトルが、
  上記の制約付き最適化問題の解となる
  　微分　δE(a_j)/δa_j = 2Var(X)a_j – 2λa_j = 0 →　解　Var(X)a_j = λ
• 射影先の分散は固有値と一致
  Var(s1) = a1TVar(X)a1 = λ1a1Ta1 ＝ λ1
• 分散共分散行列は正定値対称行列 → 固有値は必ず0以上・固有ベクトルは直交
• 各主成分は互いに直交するように選ばれる

ⅲ.主成分と寄与率

1. 分散共分散行列を計算　　
2. 固有値問題を解く　
3. (最大)m個の固有値と固有ベクトルのペアが出現
   K番目の固有値(昇順)並べ、対応する固有ベクトルを第k主成分と呼ぶ

• 寄与率
  〇第1～元次元分の主成分の分散は、元のデータの分散と一致
  　■2次元のデータを2次元の主成分で表示した時、固有値の和と元のデータの分散が一致
  　■第k主成分の分散は主成分に対応する固有値
  　　　　　　V_total 　　= 　Σλ_i
  　　　　　元データの　　　主成分の
  　　　　　総分散　　　　　総分散　　
  〇寄与率：第k主成分の分散の全分散に対する割合(第k主成分が持つ情報量の割合)
  〇累積寄与率：第1-k主成分まで圧縮した際の情報損失量の割合
• 再構成誤差
  〇第１主成分から成る一次元空間へ射影したデータを再構成する場合と第１・第２主成分から２次元空間へ射影したデータを再構成する場合の再構成誤差を比較した場合、第１主成分から成る一次元空間へ射影した場合の方が再構成誤差が大きくなる。

3.実装演習

　a.乳がんデータの分析主成分分析

• 設定
  〇乳がん検査データを利用しロジスティック回帰モデルを作成
  〇主成分を利用し2次元空間上に次元圧縮
• 課題
  〇32次元のデータを2次元上に次元圧縮した際に、うまく判別できるかを確認

4.まとめ

最後まで読んで頂きありがとうございます。
皆様のキャリアアップを応援しています!!