ネイマン・ピアソンの補題 - 何も解らない。。

【ネイマン・ピアソンの補題】

$f(x, \theta_{i}), i = 0,1$ を帰無仮説及び対立仮説のもとでの密度関数（あるいは確率関数）とする。与えられた $c \ge 0$ と $r \ (0 \le r \le 1)$ に対してサイズが $\alpha$ である次のような検定関数を考える。

\begin{align} \delta_{c,r}(x) = \begin{cases} 1 & (\frac{f(x, \theta_1)}{f(x, \theta_0)} > c)\cr r & (\frac{f(x, \theta_1)}{f(x, \theta_0)} = c)\cr 0 & (\frac{f(x, \theta_1)}{f(x, \theta_0)} < c) \end{cases} \end{align}

このとき、有意水準 $\alpha$ の検定のなかで、 $\delta_{c,r}$ が最強力検定となる。

はい、いきなりそんなこと言われても困ります。ということで、毎度お馴染み弊家本棚の積読筆頭候補の『現代数理統計学』を参考に順を追ってみていきましょう。

新装改訂版現代数理統計学

作者:彰通, 竹村
学術図書出版社

Amazon

まず、最強力検定とは何ぞやという話ですが、その前に少し準備をします。

検定関数：決定関数（ $\delta : X \to D$ ）

帰無仮説を棄却するなら1、受容するなら0を取る関数。

リスク関数：損失関数の期待値（ $R(\theta, \delta) = E_{\theta}[L(\theta, \delta(X))$ ]）

損失関数は、正しく判断ができなかった時に1をとる0-1損失関数とします。期待値を取っているのは、 $\theta$ が未知であり、損失関数の値自体も確率的に変動するので、単純に損失を最小化しよう、とはできないわけです。そのため平均的な損失を考えるか、ということでこのリスク関数というものが定義されています。

検出力関数： $\beta_{\delta}(\theta) = E_{\theta} [\delta(X)] = P_{\theta}(\delta(X) = 1)$

$\beta_{\delta}(\theta)$ を検出力関数といいます。尚、先に見たリスク関数は、検出力関数を使って以下のように書けます。

\begin{align} R(\theta, \delta) = \begin{cases} \beta_{\delta}(\theta) & (\theta \in \Theta_{0})\cr 1- \beta_{\delta}(\theta) & (\theta \in \Theta_{1}) \end{cases} \end{align}

はい、話を戻して最強力検定について確認していきます。

$\delta$ を任意の有意水準 $\alpha$ の検定、すなわち $\beta_{\delta}(\theta) \le \alpha, \ \forall \theta \in \Theta_{0}$ とする。

この時、 $\delta^*$ が有意水準 $\alpha$ の一様最強力検定（UMP）であるとは、

$\beta_{\delta^*}(\theta) \ge \beta_{\delta}(\theta), \ \forall \theta \in \Theta_{1}$ が成立する事である。

ここで、”一様”というのは全ての対立仮説（ $\forall \theta \in \Theta$ ）について検出力を最大化する、という意味であり、単純仮説（ $\Theta_{1} = \theta_{1}$ ）の場合は単に最強力検定と呼ばれるようです。

一旦ここまでの話を整理して、もう一度ネイマン・ピアソンの補題を見てみましょう。

サイズ（第1種の過誤の上限）が $\alpha$ であるような検定 $\delta_{c, r}$ を考えます。その中で最も検出力の高い検定を最強力検定と言います。ところで、冒頭で挙げたような検定関数を構成すると、そいつが噂の最強力検定です。

なんとか言ってることは分かりました。あとはこれを証明しましょう。連続分布の場合の証明になります。（離散の場合も同様の議論）

【証明】

$\delta$ を有意水準 $\alpha$ の検定関数とした時、

$\int (\delta_{c,r}(x) - \delta(x))(f(x, \theta_{1}) - cf(x, \theta_{0})) dx \ge 0 \dots (*)$ が成立する（これは後で示す）が、これを以下のように整理することで題意が示せる。

\begin{equation} \begin{split} \beta_{\delta_{c,r}}(\theta_{1}) - \beta_{\delta}(\theta_{1}) = \int (\delta_{c,r}(x) - \delta(x))f(x, \theta_{1})dx \cr \ge c(\int (\delta_{c,r}(x) - \delta(x))f(x, \theta_{0})dx) \cr = c(E_{\theta_{0}} [\delta_{c,r}(X)] - E_{\theta_{0}} [\delta(X)] ) \cr = c(\alpha - E_{\theta_{0}} [\delta(X)] ) \cr \ge 0 \end{split} \end{equation}

$(*)$ の証明

$0 \le \delta(x) \le 1$ であることに注意して、

$(1) \ f(x, \theta_{1}) > cf(x, \theta_{0})$ の時

$\delta_{c,r}(x) = 1$ （そのように検定関数を作ったのでした）であることと、 $0 \le \delta(x) \le 1$ 、また条件の $f(x, \theta_{1}) > cf(x, \theta_{0})$ を合わせて考えて、 $(*)$ の被積分関数は非負になることが分かる。

$(2) \ f(x, \theta_{1}) ＜ cf(x, \theta_{0})$ の時

これも同様の議論により $(*)$ の被積分関数は非負になることが分かる。

$(3) \ f(x, \theta_{1}) = cf(x, \theta_{0})$ の時

この場合、 $(*)$ の被積分関数は0になる。

以上の結果から $(*)$ が示せた。