BDA3の2.11 Exercisesの7を解く。リンクはBayesian Data Analysis。

Noninformative prior densities

yは二項分布Bin(n,θ)に従う。よってPMFは

p(y|θ)=\binom{n}{y}θ^y(1-θ)^{n-y}

である。

指数型分布族

指数型分布族は以下で表される。

p(y∣θ)=f(y)g(θ)e^{ϕ(θ)^Tu(y)}

ϕ(θ)は自然パラメーターである。指数型分布族に含まれる分布は共役事前分布を持つ。事前分布を

p(θ) ∝ g(θ)^ηe^{ϕ(θ)^Tν}

と構成すれば、事後分布は

p(θ|y) ∝ g(θ)^{η+n}e^{ϕ(θ)^T(ν+t(y))}

となり、共役となってる。

二項分布を指数型分布族の形で表すには

f(y)=\binom{n}{y} \\ g(θ)=(1-θ)^n \\ u(y)=y \\ ϕ(θ)=\mathrm{log}(\frac{θ}{1-θ})

とする。従って、自然パラメーターϕは $\mathrm{log}(\frac{θ}{1-θ})$ である。

(a) 自然パラメーターϕの分布

自然パラメーターϕの分布を一様分布にするためにはθはどのような分布になっていればよいか？

本文(2.19)式はθをϕにh(θ)で変換した時のp(θ)とp(ϕ)との関係式である。

p(ϕ) = p(θ)|\frac{dθ}{dϕ}|= p(θ)|h'(θ)|^{−1}

ここで、

ϕ=h(θ)=\mathrm{log}(\frac{θ}{1-θ})

である。ϕを一様分布にするので、

p(ϕ)∝1 \\ p(θ)|h'(θ)|^{−1}∝1 \\ p(θ)∝|h'(θ)|

$p(θ)∝|h'(θ)|$ で分布している時、ϕは一様分布となる。

h'(θ)=\frac{d}{dθ}\mathrm{log}(\frac{θ}{1-θ}) \\ =\frac{1}{θ(1-θ)}

従ってθの分布は

p(θ)∝θ^{-1}(1-θ)^{-1}

である。

(b) y=0もしくはnの時の事後分布

事前分布 $p(θ)∝θ^{-1}(1-θ)^{-1}$ はBeta(α, β)の $p(θ)∝θ^{α-1}(1-θ)^{β-1}$ にα=β=0に入れたものと同等である。実際にはBeta(0,0)は定義されないが、事後分布は $p(θ|y)∝θ^{-1+y}(1-θ)^{-1+n-y}$ となる。

y=0の時

事後分布は

p(θ|y)∝θ^{-1}(1-θ)^{-1+n}

である。θ=0で値が無限大になり、積分値が1でなくなり、確率密度関数として不適切である。

y=nの時

事後分布は

p(θ|y)∝θ^{-1+n}(1-θ)^{-1}

である。θ=1で値が無限大になり、積分値が1でなくなり、確率密度関数として不適切である。