機率是用來表達不確定的事件發生的情況
比如:投一枚公平的硬幣，出現head的機率為1/2
機率可以用於預測未來，並讓你當下做出最大化利益的選擇
比如:賭博、預測天氣 …
重點1: 機率函數的數學定義
機率在數學上為一個函數
將事件投影到實數域
Def 事件
可能發生的一組結果所成的多重集
比如:硬幣投擲到Head的事件可以記為{H}
投擲兩枚相同面硬幣的所有結果的事件為 {(H,H),(T,T),(H,T),(T,H)}
投擲一顆3面為1，2面為2,1面為6的骰子的所有結果所成的事件為 {1,1,1,2,2,6}
兩枚公平硬幣投出相同的結果的事件為 {(H,H),(T,T)}
順帶一提，所有結果所成的集合為sample space
比如:
投擲兩枚公平硬幣的sample space為 {(H,H),(T,T),(H,T),(T,H)}
投擲一顆公平6面骰子的sample space
為{1,2,3,4,5,6}
而所有event是sample space的子集合
Def 機率函數
只要符合以下三大公理，並可以將Event投影到實數的函數都可視為機率函數
三大公理:
Axiom1
$0 <= P(Event) <= 1$
意義:事件的機率要介於0 (不發生) 到 1 (發生) 之間
Axiom2
$P(Sample Space) = 1$
意義:所有可能性一定會發生一種
Axiom3
如果A、B 互斥 $\Rightarrow P(A\cup B) = P(A) + P(B)$
意義:A、B兩個事件不會有相同的結果 => 兩個事件所有結果發生的機率 等於 兩個事件的結果發生的機率個別相加
舉例:
公平骰子
A = {1}
B = {2,3}
P(A) 為 1/6 ，P(B) = 1/3
$A\cup B$ = {1,2,3}
則 $P(A\cup B )$ = 1/2 = 1/6 + 1/3
Example 1
證明 P({}) = 0 在任何sample space 之下
PF:
由公理2得知P(Sample Space) = 1
由公理1知道$ 0 <= P(\phi\cup Sample Space ) <= 1 $
由公理3知道$P(\phi\cup Sample Space ) = P(\phi) + P(Sample Space) = P(\phi) + 1$
所以 $ 0 <= P(\phi) + 1 <= 1$ 所以 $ P(\phi) = 0$
重點2: 離散機率
當發生結果是有限時，就可以使用離散機率，相對需要積分連續機率較為簡單
$ P(Event) = \frac{Event的基數}{Sample space的基數} = \frac{該事件的結果數}{所有的結果數}$
Note:因為是多重集，比如袋子裡有三顆綠色球，則抽中綠色球的結果數要算3
Example 2
一副正常的52張撲克牌要分給4位玩家
則問:
(a) 一位抽到13張黑桃的機率
Sol:
E = {某人抽到13張黑桃}
$ P(E) = \frac{n(E)}{n(S)} = \frac{\binom{4}{1}*\binom{13}{13}*\binom{39}{13,13,13}}{\binom{52}{13,13,13,13}} = \frac{1}{\binom{52}{13}}$
意義:
4個人 每個人取到13張特定牌(黑桃1~K)，剩下3人隨便取的結果數/ 所有結果數 (上帝視角)
等於
4個人 自己抽到13張特定牌的機率(個人視角)
- Note: 問題a告訴我們機率可以從不同角度去計算，得到結果會是一樣的，但常常某些角度可以節省大量計算
(b) 四位都取到Ace的機率
E = {四位都取到Ace}
$ P(E) = \frac{n(E)}{n(S)} = \frac{4!*\binom{48}{12,12,12,12}}{\binom{52}{13,13,13,13}}$
重點3: 條件機率
在已知一個事件發生的情況下去討論另一個事件的機率
例如:
在已採集到A的指紋情況下，A是犯人的機率 與
甚麼都不知道的情況下，A是犯人的機率 不一樣
- Note:條件機率告訴我們，新資訊的發生通常可以縮小Sample space，讓我們預測更貼近真實的分布
Def 條件機率
“已知B發生的情況下，A發生的機率”
記作 P(A|B)
其中P(B)必須>0
並定義為:
$P(A|B) = P(A \cap B)/P(B) $
其意義為
如下圖
今天已知B發生了，所以Sample space已縮減成B(黃色部分)，依據離散機率算法，綠色部分/黃色部分 就是A的新發生機率
Example 3
小明覺得有80%的機率不見得鑰匙在外套口袋裡，並且有40%的機率在左邊口袋，有40%的機率在右邊口袋，小明在檢查過左邊口袋沒有鑰匙後，請問在右邊口袋的機率是多少?
Sol:
$ L $= {在左邊口袋}
$ L^c$ = {不在左邊口袋}
$ P(L^c) =P(S)-P(L) = 1 - P(L) = 0.6 $
首先 在左邊口袋 跟 在右邊口袋 是互斥事件
所以{不在左邊口袋} $\cap$
{在右邊口袋} = {在右邊口袋}
故 $\frac{P(L^c \cap R)}{P(L^c)} =\frac{P(R)}{P(L^c)}=\frac{0.4}{1-0.4} = \frac{2}{3}$
Example 4
證明 $P(\cap_{i=1}^{n} E_i ) = P(E_1)P(E_2|E_1)P(E_3|\cap_{i=1}^{2} E_i)…P(E_n|\cap_{i=1}^{n-1} E_i)$
當k=1時
$P(E_1) = P(E_1)$
假設n=k時成立，即
$P(E_1 \cap E_2 … E_k) = P(E_1)P(E_2|E_1)P(E_3|\cap_{i=1}^{2} E_i)…P(E_k|\cap_{i=1}^{k-1} E_i)$
當k=n+1時
$P(E_{k+1}| E_1\cap E_2 … E_k )= \frac{P(E_1 \cap E_2 … E_k \cap E_{k+1})}{P(E_1 \cap E_2 … E_k)} $
移項得
$P(E_1 \cap E_2 … E_k \cap E_{k+1})
= P(E_{k+1}| E_1\cap E_2 … E_k ) * P(E_1 \cap E_2 … E_k)$
$
=P(E_{k+1}| E_1\cap E_2 … E_k )
*
P(E_1)P(E_2|E_1)P(E_3|\cap_{i=1}^{2} E_i)…P(E_k|\cap_{i=1}^{k-1} E_i) $
故依數學歸納法，此式恆成立
重點4: 貝式定理
$$P(A|B) = \frac{P(A)P(B|A)}{P(B)}$$
這也是機器學習常使用的公式，(但可能只是參數更新的一種估計方法而已)
有時可以簡化計算複雜度
Example 5
有三張紙，其中一張兩面皆紅，一張兩面皆黑、一張一面紅一面黑
則現在桌上有一張朝上的紅紙，問該紙背面是黑的機率
題目欲求 P( 一紅一黑 | 紅朝上)
法I 依條件機率定義:
$\frac{P(一紅一黑 \cap 紅朝上)}{P(紅朝上)} =\frac{\frac{1}{2*3}}{\frac{3}{6}} = \frac{1}{3} $
法II 依貝氏定理算:
$\frac{P(紅朝上|一紅一黑)*P(一紅一黑)}{P(紅朝上)}
= \frac{1/2 * 1/3}{1/2} = 1/3 $
可以發現貝式定理中的 一紅一黑發生下，紅朝上的機率為1/2 、 P(一黑一紅)為1/3 都是比較直觀的
相比之下，法I的P(一紅一黑 $\cap$ 紅朝上) 就需要比較繁瑣的計算!
重點5: 獨立
“獨立"表達兩個事件之間完全不會互相影響，舉例而言: 同時擲出兩個骰子，兩個骰出點數的機率是獨立的
以下是數學定義
Def 獨立
$$A事件 與 B事件獨立 \rightarrow P(A \cap B)=P(A)*P(B) $$
說明:
由 條件機率 知 $$P(A|B) = \frac{P(A \cap B)}{P(B)}$$
又因為A、B獨立所以先後發生不影響各自發生的機率,所以$$P(A|B) = P(A)$$
兩個條件可以得到 $$P(A|B) = P(A) = \frac{P(A \cap B)}{P(B)} => P(A \cap B)=P(A)P(B) $$
小應用
小明丟硬幣連續丟出5次Tail,判斷他有沒有作弊?
依照獨立性,每次擲出Tail的機率皆為0.5
擲出五次Tail的機率為$0.5^5 = 0.03125$
以常態分佈而言，在3個標準差內,不算過於誇張的結果
Reference
A First Course in Probability 9ed