Kullback-Leibler divergence の非負性

カルバック・ライブラー情報量の定義

確率密度関数 $p(x),q(x)$ について, 次のように定義される。

$$\mathrm{K}\mathrm{L}(p\parallel q)=-\int p(x)\ln \left\{\frac{q(x)}{p(x)}\right\}dx$$

補題 (Jensenの不等式)

$f(x)$ を上に凸な関数, $g(x)$ を任意の関数, ${\alpha }_1,\dots ,{\alpha }_n$ を $\sum _{i=1}^n{\alpha }_i=1$ を満たす正の実数とするとき, $n$ によらず次の不等式が成立する。

$$f(\sum _{i=1}^n{\alpha }_{i}g(x_i))\ge \sum _{i=1}^n{\alpha }_{i}f(g(x_i))$$

証明

数学的帰納法を用いて与式を証明する。

• $n=1$ のとき

${\alpha }_1=1$ より, 両辺ともに $f(g(x_1))$ となるため与式は成立する。

• $n=N$ のとき与式が成立すると仮定した場合

このとき, $\sum _{i=1}^N{\beta }_i=1$ を満たす ${\beta }_i$ について次式が成立する。

$$\sum _{i=1}^N{\beta }_{i}f(g(x_i))\le f(\sum _{i=1}^N{\beta }_{i}g(x_i))$$

よって, ${\beta }_i=\frac{{\alpha }_i}{\sum _{i=1}^N{\alpha }_i}$ とおくと, 以下のように $n=N+1$ のときも与式が成立する。ただし, $(\ast )$ で $f$ が上に凸であることを利用した。

$$\begin{array}{rl}& \sum _{i=1}^{N+1}{\alpha }_{i}f(g(x_i))\\ & =\sum _{i=1}^N{\alpha }_{i}f(g(x_i))+{\alpha }_{N+1}f(g(x_{N+1}))\\ & =\left(\sum _{i=1}^N{\alpha }_i\right)\sum _{i=1}^N{\beta }_{i}f(g(x_i))+{\alpha }_{N+1}f(g(x_{N+1}))\\ & \le \left(\sum _{i=1}^N{\alpha }_i\right)f(\sum _{i=1}^N{\beta }_{i}g(x_i))+{\alpha }_{N+1}f(g(x_{N+1}))\\ & \le f(\left(\sum _{i=1}^N{\alpha }_i\right)(\sum _{i=1}^N{\beta }_{i}g(x_i))+{\alpha }_{N+1}(g(x_{N+1})))\cdots (\ast )\\ & =f(\sum _{i=1}^N{\alpha }_{i}g(x_i)+{\alpha }_{N+1}(g(x_{N+1})))\\ & =f(\sum _{i=1}^{N+1}{\alpha }_{i}g(x_i))\end{array}$$

$p(x),q(x)$ によらず $\mathrm{K}\mathrm{L}(p\parallel q)\ge 0$ となることの証明

補題より, ${\alpha }_i=p(x_i)\mathrm{\Delta }x$ として, 区分求積法の考え方を適用すると,

$$f(\int p(x)g(x)dx)\ge \int p(x)f(g(x))dx$$

となる。ここで, $f(x)=\ln x,g(x)=\frac{q(x)}{p(x)}$ の場合を考えると, 以下のように示される。

$$\begin{array}{rl}& f(\int p(x)g(x)dx)\ge \int p(x)f(g(x))dx\\ & \iff \ln (\int q(x)dx)\ge \int p(x)\ln \left\{\frac{q(x)}{p(x)}\right\}dx\\ & \iff \ln 1\ge \int p(x)\ln \left\{\frac{q(x)}{p(x)}\right\}dx\\ & \iff 0\le \mathrm{K}\mathrm{L}(p\parallel q)\end{array}$$

等号が成立するのは, 補題の $(\ast )$ より $g(x)=const$ となる場合である。これは, $g(x)=\frac{q(x)}{p(x)}$ と $\int p(x)dx=\int q(x)dx=1$ より, $g(x)=1$ のとき, すなわち $p(x)=q(x)$ のときである。