読者です 読者をやめる 読者になる 読者になる

廿TT

譬如水怙牛過窓櫺 頭角四蹄都過了 因甚麼尾巴過不得

確率収束するならば法則収束する?

翻訳 私家版術語集

はじめに

ポアソンの少数の法則は「起きるのが稀な事象の発生件数はポアソン分布に従う」という意味ではない - 廿TT を書いたとき, 標本分布とかについて復習しとこうと思ってググってて「確率収束するなら法則収束する.」という記述を見つけた(法則収束 - 機械学習の「朱鷺の杜Wiki」).

そのときは意味がわからなかったのでスルーしちゃったんだけど, ウィキペディアーにふつうに解説があった.

確率収束っていうと定数に収束するというイメージが強かったんだけど, もっと広い意味で定義できるっぽい.

定義(法則収束)

確率変数列  X_1, X_2, \ldots が, 確率変数 X に法則収束する(converge in law または converge in distribution またはconverge weakly)とは, 任意の実数 x に対して連続な F が
\displaystyle \lim_{n\to\infty} F_n(x) = F(x),
となることを指し,
 X_n\ \xrightarrow{d}\ X
と表記する.

定義(確率収束)

確率変数列 \{X_n\} が確率変数 X に確率収束するとは, 任意の ε > 0 に対して
\displaystyle \lim_{n\to\infty}\Pr\big(|X_n-X| \geq \varepsilon\big) = 0.
となることを指し,
 X_n\ \xrightarrow{p}\ X
と表記する.

定理1

確率収束するならば法則収束する.
 X_n\ \xrightarrow{p}\ X \quad\Rightarrow\quad X_n\ \xrightarrow{d}\ X

補題の証明:
 \operatorname{Pr}(Y \leq a) \leq \operatorname{Pr}(X\leq a+\varepsilon) + \operatorname{Pr}(|Y - X| > \varepsilon)

証明:
\operatorname{Pr}(Y\leq a) = \operatorname{Pr}(Y\leq a,\ X\leq a+\varepsilon, X>a+\varepsilon) \\
= \operatorname{Pr}(Y\leq a,\ X\leq a+\varepsilon) + \operatorname{Pr}(Y\leq a,\ X>a+\varepsilon) \\
      \leq \operatorname{Pr}(X\leq a+\varepsilon) + \operatorname{Pr}(Y-X\leq a-X,\ a-X<-\varepsilon) \\
      \leq \operatorname{Pr}(X\leq a+\varepsilon) + \operatorname{Pr}(Y-X<-\varepsilon) \\
      \leq \operatorname{Pr}(X\leq a+\varepsilon) + \operatorname{Pr}(Y-X<-\varepsilon) + \operatorname{Pr}(Y-X>\varepsilon)\\
      = \operatorname{Pr}(X\leq a+\varepsilon) + \operatorname{Pr}(|Y-X|>\varepsilon)

定理の証明:
 \operatorname{Pr}(X_n\leq a) \leq \operatorname{Pr}(X\leq a+\varepsilon) + \operatorname{Pr}(|X_n-X|>\varepsilon) \\
\operatorname{Pr}(X\leq a-\varepsilon)\leq \operatorname{Pr}(X_n\leq a) + \operatorname{Pr}(|X_n-X|>\varepsilon)

 \operatorname{Pr}(X\leq a-\varepsilon) - \operatorname{Pr} \left (\left |X_n-X \right |>\varepsilon \right ) \leq \operatorname{Pr} \left (X_n\leq a \right )\\
 \leq \operatorname{Pr}(X\leq a+\varepsilon) + \operatorname{Pr} \left (\left |X_n-X \right |>\varepsilon \right ).

定理 2

定数に法則収束することは確率収束を意味する.
c が定数であるとき,  X_n\ \xrightarrow{d}\ c \quad\Rightarrow\quad X_n\ \xrightarrow{p}\ c.


portmanteau lemma(かばんの補題?):
確率変数列  {X_n} が確率変数 X に収束する必要十分条件は, 下記を満たすことである.

  1.  E\{f(X_n)\} \to E\{f(X)\} for all bounded, 連続関数 f
  2.  E\{f(X_n)\} \to E\{f(X)\} for all bounded, リプシッツ関数 f
  3. 任意の閉集合 C に対して  {\rm limsup} \{\Pr(X_n \in C)\} \le \Pr(X \in C).


定理の証明:
ある ε > 0 に対して, B_\varepsilon(c) を点 c まわりの開球とし, B_\varepsilon ^c(c) をその補集合とする. このとき,
 \operatorname{Pr}\left(|X_n-c|\geq\varepsilon\right) = \operatorname{Pr}\left(X_n\in B_\varepsilon^c(c)\right)

portmanteau lemma の 3 より,  X_n が定数 c に収束するならば,


\displaystyle \lim_{n\to\infty}\operatorname{Pr}\left( \left |X_n-c \right |\geq\varepsilon\right) \\
\displaystyle \leq \limsup_{n\to\infty}\operatorname{Pr}\left( \left |X_n-c \right | \geq \varepsilon \right) \\
\displaystyle = \limsup_{n\to\infty}\operatorname{Pr}\left(X_n\in B_\varepsilon^c(c)\right) \\
\displaystyle \leq \operatorname{Pr}\left(c\in B_\varepsilon^c(c)\right) = 0