概率(probability)定義為一件事情發生的可能性。事情發生的概率可以通過觀測數據中的事件發生次數來計算，事件發生的概率等於該事件發生的次數除以所有事件發生的總次數。下面舉出一些事件的例子。
- 扔出一枚硬幣，結果頭像朝上。
- 一個新生嬰兒是女孩。
- 一架飛機安全著陸。
- 某天是雨天。
觀察上述事件，下面分析一下如何計算它們的概率。例如我們收集到美國五大湖地區的一些天氣數據，在該數據裡，天氣被分成三類：{晴天、雨天、雪天}，如表C-1所示。
表C-1 五大湖地區去年冬天的天氣觀測數據
編 號 星 期 幾 華 氏 度 天 氣 1 1 20 晴 2 2 23 下雪 3 4 8 下雪 4 5 30 晴 5 1 40 下雨 6 2 42 下雨 7 3 40 晴我們可以借用該表估計出當地的天氣是下雪的概率。表C-1的數據只有7個觀察值，並且觀察時間也不連續，但這是目前所能獲得的所有數據。如果將事件的概率記做P(事件)，那麼天氣是雪天的概率P(天氣=下雪)可以用下式計算：
這裡將上述概率記做是P(天氣=下雪)，但天氣是唯一能取到「下雪」這個值的變量，所以此概率還可以簡寫為P(下雪)。根據概率的基本定義，我們繼續計算出天氣=下雨的概率和天氣=晴的概率。請讀者自行檢查一下是否有P(下雨)=2/7和P(晴)=3/7。上文介紹了如何計算變量取到某個特定值的概率，若需要同時關注多個變量應該怎麼辦呢？