【E資格不合格から学ぶ】ロジスティック回帰モデルのポイントを解説！

• 分類問題（クラス分類）
  ・ある入力（数値）からクラスに分類する問題
• 分類で扱うデータ
  ・入力（各要素を説明変数または特徴量と呼ぶ）
  ・m次元のベクトル（m=1の場合はスカラ）
  ・出力（目的変数）：0 or 1 の値
  　例）タイタニックデータ、IRISデータなど
• パラメータの推定問題
  ・尤度最大化（最尤法）

• 分類問題を解くための教師あり機械学習モデル（教師データから学習）
• 入力とｍ次元パラメータの線形結合をシグモイド関数（Sigmoid function）に入力
• 出力はy=1になる確率の値になる

• 入力は実数・出力は必ず0～1に値
  座標点（0,0.5）を基点（変曲点）として点対称でS（＝σ：シグマ）字型曲線のグラフになる。

• 「クラス1に分類される」確率を表現
• 0～1の間を緩やかに変化する関数
  ・ステップ関数ではON/OFFしかない状態に対し、信号の強弱で伝えられるようになる
  ・予想ニューラルネットワーク普及のきっかけとなった。
  ・課題：大きな値では出力の変化が微小なため勾配消失問題を引き起こすことがあった。

• パラメータが変わるとシグモイド関数の形が変わる
  σ(x) = 1／(1+exp(ーax+b))
• aについて
  ・aを増加させると、x=0付近での曲線の勾配が増加
  ・aを極めて大きくすると、単位ステップ関数に近づく。
  　単位ステップ関数とは･･･
  　x＜0でf(x)=0、x≧0でf(x)=1となるような関数
• bについて
  ・bの変化は段差の位置 → bを変化させると決定境界が変わる。
• 変化点について
  ・変化点とはax+b=0のときである。
  　なぜなら、変化点はσ(x)=0.5である。
  　一方、exp(0)=1でσ(x)＝0.5となる。
  　故に変化点はax+b=0のときである。
• シグモイド関数の微分は、シグモイド関数自身で表現することが可能

• 尤度関数の微分を行う際にこの事実を利用すると計算が容易
  δσ(x)/δx = δ(1／(1 + exp(ｰax))／δx
  　　　　　＝ σ(x)(1ーσ(x)) ← 連鎖率
  「δσ(x)/δx」の最大値は 0.25
  x=0の時、「δσ(x)/δx」が最大値をとり、σ(0)＝0.5であるから
  δσ(x)/δx =(1ｰ0.5)・(0.5)
  　　　　 ＝0.25

• シグモイド関数の出力をY=1になる確率に対応させる
  ・データの線形結合を計算
  ・シグモイド関数に入力→出力が確率に対応
  ・[表記]　i番目データを与えた時のシグモイド関数の出力をi番目のデータがY=1になる確率とする。
• 求めたい値
  P(Y=1|X)=σ(w₀＋w₁X₁＋･･･+w_mX_m)
• 説明変数Xの実現値がデータのパラメーターに対する線形結合で与えられた際にY=1になる確率
  表記 P_i=σ(w₀＋w₁X_i1＋･･･+w_mX_im)
  数式 P(Y=1|X) = σ( w₀ ＋ w₁X₁)
  P(Y=1|X):説明変数Xが与えられた時にY=1になる確率
  w₀:切片 ← 未知のため学習で決める
  w₁:回帰係数 ← 未知のため学習で決める
  X₁:説明変数 ← 既知の入力データ
  データYは確率が0.5以上ならば1、0.5未満なら0と予測

• Q.シグモイド関数においてx=0.5の場合の「微分値」はいくらになるか下記の選択肢より一つ選べ。
  　選択肢
  　　1. 0.265
  　　2. 0.235
  　　3. 0.6
  　　4. 0.125
• A. 正解は2.の「0.235」

学生

シグモイド関数におけるx=0.5の場合の「微分値」を暗算で解くのは無理だよ･･･

著者

この問題は暗算をしなくても解けるよ!
理由は次のとおり。

• 連鎖率を思い出して欲しい。シグモイド関数の微分値はシグモイド関数で表すことができたよね。
  δσ(x)/δx ＝ σ(x)(1ーσ(x)) ← 連鎖率
• x=0の時、勾配の値が最大値をとるよ。
  δσ(x)/δx ＝ σ(x)(1ーσ(x))
  　　　　 ＝0.5×(1ｰ0.5)
  　　　　　=0.25

微分値は必ず0.25以下になるから、上記の選択肢のうち「1」,「3」は不正解と分かよ。

また、選択肢4について微分値が0.125になるためには、上記「連鎖率」の計算からx=1.7～1.8になりｘ≠0.5と予想ができるから選択肢4も間違いだと分かる。

よって、選択肢2が正解と分かる。

• 世の中には様々な確率分布が存在する
  ・正規分布、t分布、ガンマ分布、一様分布、ディリクレ分布・・・
  ・ロジスティック回帰モデル→ベルヌーイ分布を利用

• ベルヌーイ分布
  ・数学において、確率pで1、確率1-pで0をとる離散確率分布

　　・例:コイントス
　　・裏と表が出る割合が等しくなくとも扱える
　　・「生成されるデータ」は分布のパラメータによって
　　　異なる(この場合は確率p)

　　　　Y～ Be(p)　　　　　　P(y) ＝ p^y(1ｰp)^1-y　
　　　　ベルヌーイ分布に　　　Y=0とY=1になる
　　　　従う確率変数Y　　　　確率をまとめて表現

• ベルヌーイ分布のパラメータの推定：
  ある分布を考えた時、そのパラメータ(既知)によって、生成されるデータは変化する。
• 最尤推定：
  データからそのデータを生成したであろう尤(もっと)もらしい分布(パラメータ)を推定したい 。
• 同時確率
  ・あるデータが得られた時、それが同時に得られる確率
  　※あるデータは同じ分布からサンプルされていると仮定
  ・確率変数が独立であることを仮定すると、それぞれの確率の掛け算となる。　

• 尤度関数：
  パラメータθを変数としてみたときの関数
• 最尤推定：
  データは固定し、パラメータを変化させる尤度関数を最大化するようなパラメータを選ぶ推定方法
  ※一般的に学習するデータ数が増えれば増えるほど、よい推定となる
• 最尤推定量：
  パラメータθに従う分布の密度関数をf(x;θ)とする。
  尤度関数をL(x;θ)とすると、L(θ;x)を最大にするような推定量θ

• ロジスティック回帰モデルの最尤推定
  ・確率pはシグモイド関数となるため、推定するパラメータは重みパラメータ
  ・(x1,y1),(x2,y2),･･･,(xn,yn)を生成するに至った尤もらしいパラメータを探す尤度関数Ｅを最大とするパラメータを探索
  ・最尤推定量は結果のみを利用
• 尤度関数を最大とするパラメータを探す（推定）
  ・対数をとると微分の計算が簡単
  　同時確率の積が和に変換可能
  　指数が積の演算に変換可能
  ・「対数尤度関数」が最大になる点＝「尤度関数」が最大になる点
  　対数関数は単調増加
  ・「尤度関数にマイナスをかけたものを最小化」し、「最小二乗法の最小化」と合わせる。
  　E(w0,w1,･･･,wm) = -logL(w_o,w₁,･･･,w_m)
  　　　　　　　　　　=-Σ{y_ilogp_i+(1-y_i)log(1-p_i)}
  上式は「softmax_cross_entropy（ソフトマックスクロスエントロピー）」
• L2正則化（リッジ回帰）を適用できる

• 反復学習によりパラメータを逐次的に更新するアプローチの一つ
• μは学習率と呼ばれるハイパーパラメータでモデルのパラメータの収束しやすさを調整

学生

なぜ勾配降下法が必要なの？

著者

それは次の理由からだよ！

• 勾配降下法(Gradient descent)が必要な理由
  ・[線形回帰モデル(最小二乗法)]→ MSE（平均二乗誤差）のパラメータに関する微分が0になる値を解析的に求めることが可能
  ・[ロジスティック回帰モデル(最尤法)]→対数尤度関数をパラメータで微分して0になる値を求める必要があるが、解析的にこの値を求めることは困難。
  　w(k+1) = wk – μδE(w)/δw
• 「対数尤度関数」を係数とバイアスに関して微分
  δE(w)/δw　=　Σ (δＥ_i(w)/δp_i)(δp_i/δw)
  　　　　　 ＝ -Σ(y_i-p_i)x_i
  ・パラメータが更新されなくなった場合、それは勾配が0になったということ。少なくとも反復学習で探索した範囲では最適な解が求められたことになる。
  w(k+1) = w(k) + μΣ(y_i-p_i)x_i
• 勾配降下法では、パラメータを更新するのにN個全てのデータに対する和を求める必要がある。
  ・nが巨大になった時にデータをオンメモリに載せる容量が足りない、計算時間が莫大になるなどの問題がある。
  ・確率的勾配降下法(SGD)を利用して解決

• データを一つずつランダムに(｢確率的｣に)選んでパラメータを更新
• 勾配降下法でパラメータを1回更新するのと同じ計算量でパラメータをn回更新できるので効率よく最適な解を探索可能
  　　w(k+1) = wk + μ(yi-pi)xi
  　　Pi：正解値
• バッチ最急降下法

• 学習済みの「ロジスティック回帰モデル」の性能を測る指標
• 各検証データに対するモデルの予測結果を４つの観点(表)で分類し、それぞれに当てはまる予測結果の個数をまとめた表
  ①TP：True Positive
  Positive（陽）と予測した結果がTrue（正しい）の場合
  ②FP：False Positive
  　Positive（陽）と予測した結果がFalse（間違い）の場合
  　異常な人を間違えて正常と判断してしまう。
  ③TN：True Negative
  Negative（陰）と予測した結果がTrue（正しい）の場合
  ④FN：False Negative
  　Negative（陰）と予測した結果がFalse（間違い）の場合
  　正常な人を間違えて異常と判断してしまう。
• 混同行列の表

• 精度、再現率以外の評価指標
• ROC曲線（Receiver Operatorating Characteristic curve）とは･･･
  横軸にFalse Positive Rate(FPR)、縦軸にTPR(True Positive Rate)をとったグラフ
  TPR=TP/(TP+FN)
  FPR=FP/(FP+TN)
• 良いモデルの条件：FPRが小さい時にTPRが大きい

補足）AUC(Area Under an ROC curve)：ROC曲線の横軸と縦軸に囲まれた
　　　部分の面積