確率収束と分布収束の違い
「分布の形の近さ」と「値そのものの近さ」
確率論や統計学を勉強していると、確率収束と分布収束という言葉が出てくる。どちらも「何かが近づく」という話なのだが、実はかなり意味が違う。
これについて簡単な例で確認してみよう。
1 まずは分布収束から考える
分布収束は、直感的にはかなり分かりやすい。
確率変数の列 $(X_n)_{n\in\mathbb{N}}$ が確率変数 $X$ に分布収束するとは、簡単に言えば、$X_n$ の分布の形が $X$ の分布の形に近づくということである。
たとえば、
\begin{align} X_n \sim \mathcal{N}\left(0,1+\frac{1}{n}\right) \end{align}とする。このとき、$n$ が大きくなるにつれて分散 $1+1/n$ は $1$ に近づく。したがって、$X_n$ の分布は標準正規分布 $\mathcal{N}(0,1)$ に近づいていく。
\begin{align} X_n \to_d \mathcal{N}(0,1) \end{align}この意味では、分布収束は「ヒストグラムの形がだんだん同じになる」と考えるとよい。毎回の具体的な値が近いかどうかではなく、あくまで分布の形が近いかどうかを見ている。
分布収束の定義
もう少し正確には、$X_n$ の分布関数を $F_n$、$X$ の分布関数を $F$ としたとき、$F$ が連続である任意の点 $x$ で
が成り立つことを、$X_n$ が $X$ に分布収束するといい、
\begin{align} X_n \to_d X \end{align}と書く。
ここで大事なのは、分布収束では、$X_n$ と $X$ が同じ確率空間上にいる必要すらない、ということである。比較しているのは、個々の実現値ではなく、分布関数だからである。
2 確率収束はもっと強い
一方、確率収束はかなり強い。確率変数の列 $(X_n)_{n\in\mathbb{N}}$ が確率変数 $X$ に確率収束するとは、任意の $\varepsilon>0$ に対して、
が成り立つことである。このとき、
\begin{align} X_n \to_p X \end{align}と書く。
これは、単に分布の形が近づくという話ではない。$X_n$ と $X$ を同時に見たとき、$X_n$ が $X$ から一定以上離れている確率が消えていく、という話である。
つまり、確率収束は、同じ確率空間上で「値そのもの」が近づくことを要求している。
確率収束の簡単な例
たとえば、$Z\sim\mathcal{N}(0,1)$ とし、
\begin{align} X_n = Z + \frac{1}{n} \end{align}と定義する。このとき、各 $X_n$ の分布は
\begin{align} X_n \sim \mathcal{N}\left(\frac{1}{n},1\right) \end{align}であり、標準正規分布とは少しだけ違う。
しかし、$X_n$ と $Z$ の差は
\begin{align} X_n-Z=\frac{1}{n} \end{align}である。したがって、任意の $\varepsilon>0$ に対して、十分大きな $n$ では
\begin{align} P(|X_n-Z|>\varepsilon)=0 \end{align}となる。よって、
\begin{align} X_n \to_p Z \end{align}である。
この例では、$X_n$ は単に標準正規分布っぽくなっているだけではない。$X_n$ は、同じ確率空間上にいる特定の $Z$ に、値として近づいている。
3 「標準正規分布に確率収束する」は少し注意が必要
ここで少し注意が必要である。「標準正規分布に確率収束する」という言い方は、日常的にはなんとなく通じるかもしれないが、数学的には少し雑である。
確率収束は、確率変数どうしの収束である。したがって、正確には
のように書くべきである。つまり、「標準正規分布そのもの」に近づくのではなく、「標準正規分布に従う確率変数 $Z$」に確率収束する、ということである。
一方、分布収束なら、
という書き方が自然である。これは、$X_n$ の分布が標準正規分布に近づく、という意味だからである。
4 同じ分布でも、確率収束するとは限らない
さて、ここからが重要である。
各 $n$ について
\begin{align} X_n \sim \mathcal{N}(0,1) \end{align}だったとする。つまり、すべての $X_n$ は最初から標準正規分布に従っている。この場合、分布の形だけ見れば、すでに極限と完全に同じである。
しかし、それだけでは $X_n\to_p Z$ とは言えない。
たとえば、$X_n$ と $Z$ が独立で、どちらも標準正規分布に従うとする。このとき、$X_n$ と $Z$ は分布としては同じである。しかし、実際の値は別々に引かれた乱数である。したがって、$X_n$ が $Z$ の値に近づいていく理由はない。
実際、独立な標準正規分布どうしの差は
\begin{align} X_n-Z \sim \mathcal{N}(0,2) \end{align}となる。これは $n$ が大きくなっても変わらない。したがって、$|X_n-Z|$ が小さくなる確率が増えていくわけではない。
ここから分かるのは、分布が同じであることと、値が近いことはまったく別の話だということである。
5 極限の確率変数と独立なまま確率収束できるか
では、$Z\sim\mathcal{N}(0,1)$ に対して、各 $X_n$ が $Z$ と独立でありながら、
\begin{align} X_n \to_p Z \end{align}となることはあるだろうか。
結論から言えば、$Z$ が本当にランダムな非退化な確率変数である限り、そのようなことは起こらない。
理由は直感的には単純である。$X_n\to_p Z$ であるなら、$X_n$ は $Z$ とほとんど同じ値を取るようになっていく。つまり、$X_n$ は $Z$ に強く結びついていなければならない。
ところが、各 $X_n$ が $Z$ と独立であるなら、$X_n$ は $Z$ の値をまったく知らずに動いている。これは、「同じ値に近づく」という要求と相性が悪い。
もう少し分布の言葉で言うと、もし $X_n\to_p Z$ なら、
\begin{align} (X_n,Z) \to_d (Z,Z) \end{align}である。極限では、二つの成分は完全に同じになる。
一方、各 $X_n$ が $Z$ と独立で、しかも $X_n$ の分布が $Z$ の分布に近づくなら、$(X_n,Z)$ の極限は、独立な二つの標準正規分布
\begin{align} (Z_1,Z_2), \qquad Z_1,Z_2 \overset{\mathrm{i.i.d.}}{\sim}\mathcal{N}(0,1) \end{align}のようになるはずである。
しかし、$(Z,Z)$ と $(Z_1,Z_2)$ はまったく違う。前者は必ず二つの値が一致するが、後者は独立に引かれるので、二つの値が一致する確率は $0$ である。
したがって、非退化な $Z$ に対して、$X_n$ が $Z$ と独立なまま $Z$ に確率収束することはできない。
6 統計でよく出るのはどちらか
統計学では、どちらも重要である。ただし、使われる場面は少し違う。
たとえば、大数の法則では、標本平均 $\overline{X}_n$ が母平均 $\mu$ に近づく。
これは確率収束である。なぜなら、標本平均という実際に計算される値が、真の平均の近くに集まっていくことを言っているからである。
一方、中心極限定理では、標本平均を標準化した量が標準正規分布に近づく。
これは分布収束である。ここで言っているのは、標準化された標本平均の分布の形が、標準正規分布の形に近づくということである。
つまり、統計学では、推定量が真の値に近づく話では確率収束が出てきやすく、標準化した統計量の極限分布を調べる話では分布収束が出てきやすい。
7 まとめ
最後に、確率収束と分布収束の違いをまとめておこう。
分布収束と確率収束の違い
| 概念 | 見ているもの | 直感 | 記号 |
|---|---|---|---|
| 分布収束 | 分布の形 | ヒストグラムが近づく | $X_n\to_d X$ |
| 確率収束 | 同じ確率空間上での値 | 実際の値が近づく | $X_n\to_p X$ |
分布収束は、我々が想像しやすい「分布の形が同じになる」という話である。標準正規分布に近づく、というときに多くの場合こちらを意味している。
一方で、確率収束はもっと強い。同じ確率空間上で、$X_n$ と $X$ の値そのものが近づくことを要求している。したがって、極限が非定数の確率変数である場合、$X_n$ はその極限の確率変数と強く結びついていなければならない。
この違いを押さえると、確率論や統計学で出てくる「収束」の意味がかなり見通しやすくなると思う。