重點1: 隨機變數 Random Variable
本質是是一個函數
以事件本身作為變數，將事件映射成實數數值,方便我們計算時使用
比如X=第一顆骰子擲出的點數 , Y=第二顆骰子擲出的點數
P(X+Y=6)就可以表達兩次骰子點數和為6的機率
Example 1
有兩個保險人,今天A出事的機率為0.05,B出事的機率為0.1,兩者出事為獨立事件 以 隨機變數X為A、B保險人出事人數 討論支付理賠金的機率分布
令X為支付保險人數
P(X=0) = P(A沒出事 $\cap$ B沒出事) = 0.95 * 0.9 = 0.855
P(X=1) = P(A沒出事 $\cap$ B出事) + P(A出事 $\cap$ B沒出事) =
0.95 * 0.1 + 0.05 * 0.9 = 0.14
P(X=2) = P(A出事 $\cap$ B出事) = 0.05 * 0.1 = 0.005
o.w (P(0>X),P(X>3)) = 0
隨機變數有分為 離散型 與 連續型，依其可能值結果是否可數而定
重點2: 機率質量函數 (p.m.f) & 累積分布函數(c.d.f)
如果一個隨機變數發生的可能值皆為countable number，則該隨機變數稱為離散隨機變數
對於離散隨機變數，可以定義其probability mass function
Def: probability mass function (pmf)
機率密度函數在a的值 即為 隨機變數的值為a時的機率值
也就是 Pmf(a) = P{ X=a }
並且pmf有以下性質
(1) 隨機變數X的可能值，依順序編號為 $x_1 , x_2 … x_n $
則
$ P(X) = 0 \ , X \in R\setminus[ x_1 , x_2 ... x_n ] $
(2) pmf 總和為1
$$ \sum_{-\infty}^{\infty}P(X)=1 $$
以下是一個pmf的例子
投擲一顆公平的六面骰，令隨機變數X為骰子的出現點數
可知道X 將會是所有可能性中 {1,2,3,4,5,6} 的其中一種，並且所有可能性發生結果機率皆為1/6
也就是說，其pmf P(1)=1/6 , P(2)=1/6 … P(6)=1/6
- 有趣的事，pmf、cdf、pdf這些函數都不符合機率公理對機率函數的定義(將事件 對應到 0至1之間) 但pmf其對應的值是隨機變數發生的機率
Def: Cumulative Distribution Function (cdf)
累積分布函數，通常以大寫$F_{x}(X)$表示，其意義為小於等於其參數的pmf值的和，也就是隨機變數發生小於等於這個值的機率
$$F(a) = P(X<=a) = \sum_{-\infty}^{a}P(X)$$
以下再用公正六面骰為例
- 若隨機變數是離散的，其cdf一定是不連續的，並且在可能發生值的地方發生跳點
- 必定從0累積到1，這是因為pmf性質2的原因
Example 2
(a) P(X=2) = P(X>2) - P(X<=2) =F(2)的右極限 - F(2) = 11/12 - 2/3 = 0.25
(b) P(2 < X < 3 ) = P(X<=3) - P(X<=2) = F(3) - F(2) = 1/12
- 從(a)題可以看出，在可能發生的單點機率值等於跳點相減 (若沒有跳點=>機率為0=>不是可能發生的點)
- 從(b)題看出，發生的區間可以用CDF在上下界的差得到 (當然也可以用pmf去累加)
重點3: 期待值 與 變異數
針對隨機變數可以依其分布計算期待值(Expected Value)
期待值計算上為 隨機變數可能值依出現機率的加權平均
Def: Expected value
$$E[g(X)] = \sum_{i}g(x_i)p(x_i) ,\quad \forall P(x_i)>0 $$
其意義為 當發生無限次事件時，平均一次會出現的結果
可用於在發生次數夠大時做到比較精準的預測
比如，公正的兩面硬幣若出現正面為1分，反面為0分，則投擲100次後，結果會接近50分，也就是100*1/2 = 50
1/2 也就是公正硬幣分數的期待值
期待值有下列性質
-
期待值是線性函數，意即具有運算保留(operation preserve) E(aX+b) = aE(X) + b
-
E($x^k$)為動差生成函數(moment generating function)，期待值正是一階(k=1)動差
-
定義中的公式可以由 E(X)= \sum_{i}(x_i)p(x_i) 推導出來，大概推導想法是將被g(x)映射到相同值者蒐集起來，自然會將他們的機率合併增加(比如今天骰子的點數，大於2會得1分，其他0分，則3、4、5、6 (點)發生的機率會合併到 1(分) 中，剩下合併到0(分)中)
-
公式定義告訴我們不需要去討論映射後值出現的機率，一樣以上述骰子例子，已知各點機率分布、點數到分數的映射，就不需要討論各分數出現的機率分布也可以算出期待值
Def: Variance
$$Var(X) = E[{(X - E(X))}^2] = E[X^2] - {(E[X])}^2$$ 此式中間部分為定義，中間到右邊可用線性函數性質證明
變異數的意義為機率分布的離散程度，因為期待值是加權平均的概念，這裡以平均數舉例， 1,-1 與 100 , -100 的平均數皆為0，但後者變異較大，也就是每筆數字與平均值得差距較大(所以才這麼定義變異數)
變異數並不是線性函數，事實上 $$Var(aX+b) = a^2 Var(X) $$
也就是說，當所有可能性增加a倍，他們的變異程度會增加a的平方倍
而平移並不改變變異程度，這符合直覺
期待值與變異數是衡量一個分布的基本指標，能快速幫助我們了解分布
重點4: 常見離散機率分布
Bernoulli Distribution (白努力分布)
非常簡單、基礎的分布
可視為一次的是非題
比如公正兩面硬幣的正反面、某個字是否出現在句子中、檢查目標有沒有生病 …
其 pmf 定義如下:
$$ P(x) = p^x * (1-p)^{1-x} \quad x=1,0 $$
解釋:
p代表"成功"的機率，因為白努力試驗非成功即失敗，因此失敗機率為1-p
x=1 表示試驗成功，x=0 表示試驗失敗
我們以 $X \sim Bernoulli(p) $紀錄隨機變數X服從白努力分布
其中只需要p參數就可以唯一決定一個白努力分佈
期待值與變異數:
E(X) = p
Var(X) = p(1-p)
Binomial Distribution (二項式分布)
Reference
A First Course in Probability 9ed