【E資格不合格から学ぶ】情報科学（交差エントロピーと相互情報量）のポイントを解説！

I(x)＝ ーlog_a(P(x))
　　= log_a(W(x))

I(x)：自己情報量
P(x)：確率
W(x)：全情報量
P(x)＝1/W(x) ← P(x)とW(x)の関係

• 対数の底(a)が2のとき、単位はビット(bit)
• 対数の底(a)がネイピア(=自然対数の底)eのとき、単位は(nat)

• 単に「エントロピー」ともいう
• 微分エントロピーともいうが、微分しているわけではない。
  (differentialの誤訳か？)
• 自己情報量の期待値 ← 情報の珍しさ（=情報の価値が大きさ）の平均値のようなもの
• H(x) ＝ E(I(x))
  　　 =ｰE(log(P(x)))
  　　 =ｰΣ(P(x)log(P(x)))

• KLｰダイバージェンス（Kullback-Leibler divergence）
  KullbackとLeiblerは人名
• 同じ事象・確率変数における異なる確率分布P,Qの違いを表す

学生

カルバック・ライブラー　ダイバージェンスは確率分布P､Qの違いを表す距離みたいなもの？

著者

距離と似ているけど距離ではないんだよ!!

なぜなら、KLｰダイバージェンスの式は二つの確率分布の順番を入れ替えると式の値が変わるからだよ!

D_KL(P||Q)：カルバック・ライブラー ダイバージェンスとは古い確率分布Qが分かった後、起こった新しい確率分布Pから眺めた時にどれくらい情報が違うかを示したもの
P：Qの後に起こった確率分布
Q：Pの前に分かった確率分布

　VAE（変分オートエンコーダー）においてKLｰダイバージェンスを正則化項として加える。

• KLｰダイバージェンスの式は二つの確率分布の順番を入れ替えると式の値が変わるため、JSｰダイバージェンスの式が用いれらることがある。
• 応用例）
  GAN（画像認識＆画像生成）のDiscriminatorにおいて２つの確率分布がどれくらい近いかを判定するために使用

• カルバック・ライブラー ダイバージェンスの一部分を取り出したもの
• Qについての自己情報量をPの分布で平均している

• D_KL(P||Q)：カルバック・ライブラー ダイバージェンスとは古い確率分布Qが分かった後、起こった新しい確率分布Pから眺めた時にどれくらい情報が違うかを示したもの
• H(P,Q)：logQ(x)をPで平均したもの

P(x_i,y_i)：x_iとy_iが同時に起こる確率
logの底は2

Q.ある商店で、1時間に80人の客が来店した。来店した客の性別の内訳と、客が眼鏡をしているかの内訳は以下のとおりであった。

この時に来店した客の性別と、その客が眼鏡をしているかを知った時の同時エントロピー（結合エントロピー）の値を求めよ。

A.同時エントロピーは定義式は以下のとおりである。

P(x_i,y_i)は「x_iとy_iが同時に起こる確率」であるから、次のように整理する。
x₁：男
x₂：女
y₁：眼鏡有
y₂：眼鏡無

H(X,Y)=ｰP(x₁,y₁)log₂(P(x₁,y₁))-P(x₁,y₂)log₂(P(x₁,y₂))
-P(x₂,y₁)log₂(P(x₂,y₁))-P(x₂,y₂)log₂(P(x₂,y₂))　･･･①

P(x₁,y₁)＝10/80=1/8　･･･②
P(x₁,y₂)＝40/80=1/2　･･･③
P(x₂,y₁)＝10/80=1/8　･･･④
P(x₂,y₂)＝20/80=1/4　･･･⑤

②,③,④,⑤を①へ代入すると

H(X,Y)=-(1/8)log₂(1/8)-(1/2)log₂(1/2)
-(1/8)log₂(1/8)-(1/4)log₂(1/4)

学生

上記の計算は計算機じゃないとできないかな？

著者

実は次のように計算すると手計算でも解けるよ！

H(X,Y)=-(2/8)log₂(1/8)-(1/2)log₂(1/2)
-(1/4)log₂(1/4)

著者

ここでlogの公式を思い出してほしい!

log_ab/c=log_ab-log_ac

H(X,Y) =-(2/8)｛log₂1-log₂8}-(1/2)｛log₂1-log₂2}
-(1/4)｛log₂1-log₂4}

著者

ここでlog₂は次の値になるよ

log₂1＝0
log₂2＝1
log₂4＝2
log₂8＝3

H(X,Y) =-(2/8)×(0-3)-(1/2)×(0-1)
-(1/4)×(0-2)
　　　　=6/8+4/8+4/8
=1.75

　コインを2回投げる。1回目には表が出る確率1/2、裏が出る確率1/2のコインを投げる。2回目にはほぼ必ず裏が出るコインを投げる。表を1、裏を0として各回の表裏を表す確率変数をX、Yとする。
条件付きエントロピーH(Y|X)を求めよ。

例題の解答

著者

上記の解答は次のように解釈できるよ！
「2回目にほぼ必ず裏が出る」ということは、Xの出た目に関係なくYの情報量は「0」なんだ。だから「Xの目が表か裏か知った」としてもYの情報量には影響ないんだよ!

　コインを2回投げる。1回目には表が出る確率1/2、裏が出る確率1/2のコインを投げる。2回目にはほぼ必ず裏が出るコインを投げる。表を1、裏を0として各回の表裏を表す確率変数をX,Yとする。
相互情報量I(X;Y)を求めよ。

例題の解答

著者

上記の解答は別の解答もできるよ！
相互情報量は次の式でも表現できる。
I(X;Y)＝H(Y)ｰH(Y|X)
H(Y)=0 ← 2回目にほぼ必ず裏が出る
H(Y|X)=0 ← 条件付きエントロピーの例題解答参照
ゆえにI(X;Y)＝0ｰ0=0
つまり、「Xの目が表であるか裏であるかという情報」と「Yの出る目の情報」には関係性はない。なぜなら「2回目にほぼ必ず裏が出る」からだよ!