読者です 読者をやめる 読者になる 読者になる

廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

十分統計量の思想的直感的意味(小島寛之による説明)

十分性、最尤性、一様最小分散不偏性

小島寛之は『現代思想』2014年6月号において、推測統計学を他の数理科学(数学や物理学)とわかつものは、

  1. 十分性
  2. 最尤性
  3. 一様最小分散不偏性

というみっつの正当化であるとしている。

内「最尤性」「一様最小分散不偏性」は比較的理解が容易である。

コインを4回なげ、
「裏、表、表、裏」
という結果が得られたとき「表の出る確率」を  \hat{p} = 2/4 =0.5 と推定するのが最尤法である。

 \hat{p}最尤推定(maximum likelihood estimator 略して MLE)と呼ばれる、

「現実に起こったことはあり得る中でもっとも起こりやすいものであるとする」という原則が最尤法である。

真実は凡庸すぎて遠く、想像力が追いつかないくらい凡庸な場所にあるのだ。

柳下毅一郎

また、推定量の期待値は真の値(母数;確率分布のパラメータ)と等しくなることが望ましい。
これが不偏性である。

そして推定量が、場合によってあっちにいったりこっちにいったりするよりは、なるべく狭い範囲におさまってくれたほうがいい。つまり推定量の分散は小さいことが望まれる。

不偏推定量の中で分散が最小のものを一様最小分散不偏推定量(uniformly minimum variance unbiased estimator 略して UMVUE)と呼ぶ。

では十分統計量とはなにか。

十分統計量の定義にはなんのあいまいさもない。

(X_1, X_2, \ldots, X_n) をランダム標本、T=T(X_1, X_2, \ldots, X_n) を統計量とし、その実現値 T=t が与えられているときの、(X_1, X_2, \ldots, X_n) の条件付き分布が、パラメータ θ に依存しないとき、Tθ に関する十分統計量(sufficient statistics)という。

しかしこれの直感的理解はむずかしい。

条件付き分布がパラメータに依存しないってどういうこと?

コイン投げの例に戻ろう。コインを3回なげ、
「裏、表、表」
という観測が得られたとする。

裏を0、表を1と符号化し、

 \hat{p} = (0+1+1)/3 =2/3

と推定したとする。

この、「足して3で割る」という操作によって、
「0、1、1」(裏、表、表)
という順序の情報は失われている。

「1、0、1」(表、裏、表)であっても同じ推定値が得られる。

この順序の情報の損失は問題にならないのか。

仮に我々がパラメータ p = 2/3 という真の値を知っているとしよう。

そしてそれが与えられた上で「1、0、1」という観測が得られる条件付き確率を計算してみよう。

\displaystyle P(X_1=1, X_2=0,X_3=1|p=2/3) = \frac{p(1-p)p}{{}_3 C _2 p^2 (1-p)}= 1/3

こうして求めた条件付き確率のなかに、パラメータ p はまったく含まれていない。

よって「足して3で割る」という  \hat{p} は定義により、十分統計量と言える。

すなわち「足して3で割る」という操作はパラメータに関係のない情報をそぎ落とし、母集団の本質を抽出する作業である。

十分統計量ってなにが十分なの?

上記のように十分統計量とは、パラメータに関する情報をすべて持っている統計量である。

もし T が十分統計量であるとすると、その実現値 T=t を基にして生成された乱数は、もとの分布と同じ形をしている。

十分統計量は乱数を発生させるのに十分な統計量なのである。

参考文献

現代思想 2014年6月号 特集=ポスト・ビッグデータと統計学の時代

現代思想 2014年6月号 特集=ポスト・ビッグデータと統計学の時代

小島寛之統計学・確率論の有効性とその限界』pp.98-109)

入門・演習 数理統計

入門・演習 数理統計

(主に pp.198-199 を参照)