廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

ベイズ統計のための準備, ベイズの定理, 事前分布と事後分布

ベイズの定理は, 条件付き確率に成り立つ下の恒等式として知られる.

 \displaystyle P(B|A) = \frac{P(A|B)P(B)}{P(A)}

これは n 個の事象  A_i, \ldots, A_n を考えるとき, 次のように一般化される.

 \displaystyle P(A_i|B) = \frac{P(B|A_i)P(A_i)}{\sum^{n}_{j=1} P(B|A_j) P (A_j)} \tag{1}

ベイズの定理は離散的な事象だけでなく, 確率密度関数にも適用することができる.

このことをデータを扱う考え方の中に積極的に活用していく, ベイズ統計というジャンルがある. ベイズ統計は最近はやっている.

ベイズ統計では確率密度関数(確率質量関数でもいいが)の未知母数(パラメータ)を確率変数としてしまう.

ぼくは母数を推定するのが統計学だと思っていたので, これをはじめて聞いたときはそんなんありかよ, という感じだった.

さてパラメータを確率変数 θ と置く. パラメータ θ の確率密度関数π( θ ) とする.

標本は X と置く.

このとき確率変数 Xθ の同時分布を f( x,θ ) , X が与えられたときの θ の条件付き密度関数を π( θ | x) とすると,

 \displaystyle \pi (\theta|X) = \frac{f(x, \theta) \pi(\theta) }{\int f(x|\theta) \pi (\theta) d \theta} \tag{2}

を得る.

分母は周辺密度関数.

よく見ると (1) 式と (2) 式は同じ形をしている.

計算統計学の方法―ブートストラップ・EMアルゴリズム・MCMC (シリーズ予測と発見の科学 5)

計算統計学の方法―ブートストラップ・EMアルゴリズム・MCMC (シリーズ予測と発見の科学 5)

(pp.145-147 を参照した.)

入門・演習 数理統計

入門・演習 数理統計

(pp.22-27 を参照した.)