「理由不十分の原則」と「ベイズ更新」を簡単に紹介

　前回、「ベイズの定理」を紹介しましたが、今回はベイズの定理を実際に応用するときに役立つ「理由不十分の原則」と「ベイズ更新」について紹介します。

　機械学習や情報のフィルタリング、経営判断のための意思決定などに役立つので、ぜひ覚えておきましょう。

「理由不十分の原則」とは？
「ベイズ更新」とは？
最後に

「理由不十分の原則」とは？

　では、まずは「理由不十分の原則」について紹介します。早速、例題に挑戦してみましょう。

赤玉と白玉が合わせて3個入っている箱1, 箱2, 箱3があります。箱1には赤玉が1個、箱2には赤玉が2個、箱3には赤玉が3個入っています。これら3つの箱の中から玉を1つ取り出したところ、赤玉でした。赤玉が箱3から取り出された確率を求めましょう。

　ここでベイズの定理を適応すると、データDは「取り出された玉が赤」、仮定Hは「箱1から取り出された場合」「箱2から取り出された場合」「箱3から取り出された場合」の3つが考えられますよね。

　例題にもなっている「赤玉が箱3から取り出された確率」を考えると、

$$\mbox{赤玉が箱3から取り出された確率}\\
= \frac{\mbox{箱3において赤玉が取り出される確率} × \mbox{箱3が選ばれる確率}}{\mbox{赤玉が取り出された確率}}$$

　ここで、「赤玉が取り出された確率」は、「箱1で赤玉が取り出された確率」と「箱2で赤玉が取り出された確率」、「箱3で赤玉が取り出された確率」の和になるため、

$$\mbox{箱が選ばれる確率は何も書かれていないので}\frac{1}{3}\mbox{と決めると、}\\
\mbox{箱1で赤玉が取り出された確率}\\
=\mbox{箱1において赤玉が取り出される確率}\times\mbox{箱1が選ばれる確率}=\frac{1}{3}\times\frac{1}{3}=\frac{1}{9}\\
\mbox{箱2で赤玉が取り出された確率}\\
=\mbox{箱2において赤玉が取り出される確率}\times\mbox{箱2が選ばれる確率}=\frac{2}{3}\times\frac{1}{3}=\frac{2}{9}\\
\mbox{箱3で赤玉が取り出された確率}\\
=\mbox{箱3において赤玉が取り出される確率}\times\mbox{箱3が選ばれる確率}=\frac{3}{3}\times\frac{1}{3}=\frac{3}{9}
$$

　そのため、「赤玉が取り出された確率」は、

$$\frac{1}{9}+\frac{2}{9}+\frac{3}{9}=\frac{6}{9}=\frac{2}{3}$$

　となります。その結果、「赤玉が箱3から取り出された確率」は、

$$\mbox{赤玉が箱3から取り出された確率}\\
= \frac{\mbox{箱3において赤玉が取り出される確率} × \mbox{箱3が選ばれる確率}}{\mbox{赤玉が取り出された確率}}\\
= \frac{\frac{3}{3}\times\frac{1}{3}}{\frac{2}{3}}=\frac{1}{2}$$

　と求めることができました。今回は箱が選ばれる確率を「常識的に」「とりあえず」決めましたが、この仮定を許容することを「理由不十分の原則」と言います。

「ベイズ更新」とは？

　では、次に「ベイズ更新」について紹介します。こちらも例題から理解を深めていきましょう。

恋人があなたのことを「好き」「普通」「嫌い」のどの感情を抱いているかを、デートにおける印象から確率的に推定してみましょう。デートの印象を「良」「悪」の2つに分類すると、1回目は「良」で、2回目は「悪」でした。ただし、印象が「良」と「悪」になる割合は、「好き」のとき3:1、「普通」のとき2:2、「嫌い」のとき1:3とします。

　この例題もベイズの定理を使って解いていきます。まずは、1回目のデートの印象「良」が「あなたが好き」から生まれた確率は、

$$\mbox{デートの印象「良」が「あなたが好き」から生まれた確率}\\
= \frac{\mbox{「好き」のときに印象「良」が得られる確率} × \mbox{「あなたが好き」の確率}}{\mbox{印象「良」が得られた確率}}$$

　となります。ここで、「好き」「普通」「嫌い」の確率を次のように主観で決めましょう。

$$\mbox{好き：}0.6\\
\mbox{普通：}0.3\\
\mbox{嫌い：}0.1$$

　すると、印象「良」が得られた確率は、

$$\mbox{「好き」でかつ印象「良」が得られる確率}\\
+ \mbox{「普通」でかつ印象「良」が得られる確率}\\
+ \mbox{「嫌い」でかつ印象「良」が得られる確率}\\
= \mbox{「好き」のときに印象「良」が得られる確率} \times \mbox{「あなたが好き」の確率}\\
+ \mbox{「普通」のときに印象「良」が得られる確率} \times \mbox{「あなたが普通」の確率}\\
+ \mbox{「嫌い」のときに印象「良」が得られる確率} \times \mbox{「あなたが嫌い」の確率}\\
= \frac{3}{4} \times 0.6 + \frac{2}{4} \times 0.3 + \frac{1}{4} \times 0.1 = \frac{5}{8}
$$

　となります。その結果、デートの印象「良」が「あなたが好き」から生まれた確率は、

$$\mbox{デートの印象「良」が「あなたが好き」から生まれた確率}\\
= \frac{\mbox{「好き」のときに印象「良」が得られる確率} × \mbox{「あなたが好き」の確率}}{\mbox{印象「良」が得られた確率}}\\
= \frac{\frac{3}{4} \times 0.6}{\frac{5}{8}}=\frac{18}{25}=0.72$$

　同様に、デートの印象「良」が「普通」から生まれた確率と「嫌い」から生まれた確率は、

$$\mbox{デートの印象「良」が「あなたが普通」から生まれた確率}\\
= \frac{\mbox{「普通」のときに印象「良」が得られる確率} × \mbox{「あなたが普通」の確率}}{\mbox{印象「良」が得られた確率}}\\
= \frac{\frac{2}{4} \times 0.3}{\frac{5}{8}}=\frac{6}{25}=0.24$$

$$\mbox{デートの印象「良」が「あなたが嫌い」から生まれた確率}\\
= \frac{\mbox{「嫌い」のときに印象「良」が得られる確率} × \mbox{「あなたが嫌い」の確率}}{\mbox{印象「良」が得られた確率}}\\
= \frac{\frac{1}{4} \times 0.1}{\frac{5}{8}}=\frac{1}{25}=0.04$$

　と求めることができました。では、この結果を利用して、2回目のデートの印象「悪」が「好き」「普通」「嫌い」から生まれた確率を求めるわけですが…。

　このように、1回目のデータから算出した確率を利用して2回目の確率を求めることを「ベイズ更新」と言います。

　では、先ほどと同様に、2回目のデートの印象「悪」が「あなたが好き」から生まれた確率は、

$$\mbox{デートの印象「悪」が「あなたが好き」から生まれた確率}\\
= \frac{\mbox{「好き」のときに印象「悪」が得られる確率} × \mbox{「あなたが好き」の確率}}{\mbox{印象「悪」が得られた確率}}$$

　となり、印象「悪」が得られた確率は、

$$\mbox{「好き」でかつ印象「悪」が得られる確率}\\
+ \mbox{「普通」でかつ印象「悪」が得られる確率}\\
+ \mbox{「嫌い」でかつ印象「悪」が得られる確率}\\
= \mbox{「好き」のときに印象「悪」が得られる確率} \times \mbox{「あなたが好き」の確率}\\
+ \mbox{「普通」のときに印象「悪」が得られる確率} \times \mbox{「あなたが普通」の確率}\\
+ \mbox{「嫌い」のときに印象「悪」が得られる確率} \times \mbox{「あなたが嫌い」の確率}\\
= \frac{1}{4} \times 0.72 + \frac{2}{4} \times 0.24 + \frac{3}{4} \times 0.04 = 0.33
$$

　となります。その結果、デートの印象「悪」が「あなたが好き」から生まれた確率は、

$$\mbox{デートの印象「悪」が「あなたが好き」から生まれた確率}\\
= \frac{\mbox{「好き」のときに印象「悪」が得られる確率} × \mbox{「あなたが好き」の確率}}{\mbox{印象「悪」が得られた確率}}\\
= \frac{\frac{1}{4} \times 0.72}{0.33} \approx 0.55$$

　と求めることができました。つまり、55%の確率で好かれていることがわかりましたね。「普通」「嫌い」についても同様に計算してみてください。