機械学習と統計の要「イェンゼンの不等式」の証明と応用を徹底解説

人工知能（AI）の急速な進化やデータサイエンスの高度化に伴い、大学数学や統計学の基礎理論を学び直すエンジニアや研究者が増えています。その中でも、確率論から最適化理論、生成AIの基盤アルゴリズムに至るまで、驚くほど広範な分野で決定的な役割を果たしているのが「イェンゼンの不等式（Jensen's inequality）」です。

名前は聞いたことがあっても、「凸関数の性質がなぜ機械学習の下界最大化に直結するのか」「期待値と関数の順序を入れ替えると何が起きるのか」といった核心を体系的に理解できている人は多くありません。本稿では、直感的な幾何学的イメージから数学的帰納法による厳密な証明、さらには相加相乗平均やカルバック・ライブラー情報量、変分推論（VI）への応用まで、その全貌を余すところなく解き明かします。

📌 【この記事の重要ポイントまとめ】

• 要点1：イェンゼンの不等式は「凸関数の期待値は、期待値の凸関数値以上になる」という、関数の凸性と平均値の関係を結ぶ根幹定理。
• 要点2：数学的帰納法や接線不等式で美しく証明でき、高校数学の相加相乗平均やヘルダーの不等式も一瞬で導出可能。
• 要点3：機械学習のEMアルゴリズムや変分推論におけるELBO（エビデンス下界）、情報理論のKLダイバージェンスの非負性保証に不可欠。

【直感でつかむ】イェンゼンの不等式とは？凸関数・凹関数の幾何学的イメージ

イェンゼンの不等式を一言で表現するなら、「関数の平均」と「平均の関数」の大小関係を示す不等式です。デンマークの数学者ヨハン・イェンゼン（Johan Jensen）が1906年に定式化したこの定理は、関数が持つ「曲がり具合（凸性）」に基礎を置いています。

実数上の凸関数（下に凸な関数、Convex function）$f(x)$ を考えます。例えば $f(x) = x^2$ や $f(x) = e^x$ が代表例です。この曲線上に存在する2点 $A(x_1, f(x_1))$ と $B(x_2, f(x_2))$ を結ぶ線分（弦）を描いたとき、その線分は常に曲線 $f(x)$ よりも上側（または一致する位置）に位置します。

2点の内分点を $t x_1 + (1-t) x_2$ （ただし $0 \le t \le 1$）と置くと、凸関数の定義そのものが次の不等式を表します。

$$f(t x_1 + (1-t) x_2) \le t f(x_1) + (1-t) f(x_2)$$

左辺は「変数の平均に対する関数値（平均の関数）」であり、右辺は「関数値の平均（関数の平均）」を指します。下に凸なグラフでは、真ん中の値を関数に入れてから計算するよりも、両端の関数値を求めてから平均した方が必ず大きくなる、という幾何学的な事実こそがイェンゼンの不等式の原型です。

なお、上に凸な関数（凹関数、Concave function。例：$\ln x$ や $\sqrt{x}$）の場合は不等号の向きが逆転し、$f(t x_1 + (1-t) x_2) \ge t f(x_1) + (1-t) f(x_2)$ が成り立ちます。この「凸なら下側、凹なら上側」という視覚的感覚を把握することが、応用への第一歩となります。

【厳密な証明】数学的帰納法で解き明かす有限変数のイェンゼンの不等式

2変数の凸性の定義から、$n$ 個の重み付きデータ点へと拡張する標準的なアプローチが数学的帰納法（Mathematical Induction）です。ここでは一般化された有限和のイェンゼンの不等式を証明します。

【主張】
区間 $I$ で下に凸な関数 $f(x)$、任意の点 $x_1, x_2, \dots, x_n \in I$、および重み $\lambda_1, \lambda_2, \dots, \lambda_n \ge 0$（$\sum_{i=1}^n \lambda_i = 1$）に対し、以下が成立する。

$$f\left(\sum_{i=1}^n \lambda_i x_i\right) \le \sum_{i=1}^n \lambda_i f(x_i)$$

【証明のステップ】

Step 1：ベースケース（$n=1, 2$）
$n=1$ のときは自明です。$n=2$ のときは凸関数の定義そのものであるため成立します。

Step 2：帰納法の仮定
$n=k$（$k \ge 2$）のときに不等式が成り立つと仮定します。

Step 3：$n=k+1$ の検証
$\sum_{i=1}^{k+1} \lambda_i = 1$ を満たす $k+1$ 個の重みと点を考えます。$\lambda_{k+1} = 1$ のときは自明なため、$\lambda_{k+1} < 1$ とします。式を次のように巧みにまとめ直します。

$$\sum_{i=1}^{k+1} \lambda_i x_i = (1 - \lambda_{k+1}) \sum_{i=1}^k \frac{\lambda_i}{1 - \lambda_{k+1}} x_i + \lambda_{k+1} x_{k+1}$$

ここで、内側の係数の和は $\sum_{i=1}^k \frac{\lambda_i}{1 - \lambda_{k+1}} = \frac{1 - \lambda_{k+1}}{1 - \lambda_{k+1}} = 1$ となります。まず $n=2$ の凸性の定義を適用すると、

$$f\left(\sum_{i=1}^{k+1} \lambda_i x_i\right) \le (1 - \lambda_{k+1}) f\left(\sum_{i=1}^k \frac{\lambda_i}{1 - \lambda_{k+1}} x_i\right) + \lambda_{k+1} f(x_{k+1})$$

続いて、$n=k$ の帰納法の仮定を中括弧内の項に適用します。

$$f\left(\sum_{i=1}^k \frac{\lambda_i}{1 - \lambda_{k+1}} x_i\right) \le \sum_{i=1}^k \frac{\lambda_i}{1 - \lambda_{k+1}} f(x_i)$$

これを代入して両辺を展開・整理すると、

$$f\left(\sum_{i=1}^{k+1} \lambda_i x_i\right) \le (1 - \lambda_{k+1}) \sum_{i=1}^k \frac{\lambda_i}{1 - \lambda_{k+1}} f(x_i) + \lambda_{k+1} f(x_{k+1}) = \sum_{i=1}^{k+1} \lambda_i f(x_i)$$

以上により、$n=k+1$ でも成立することが示され、任意の自然数 $n$ において有限変数のイェンゼンの不等式が証明されました。

【大学数学と確率論】期待値の不等式としての一般化と測度論的視点

大学の確率論や統計学において、イェンゼンの不等式は「期待値（Expectation）」の形式で最も頻繁に姿を現します。離散的な重み $\lambda_i$ は確率 $P(X = x_i)$ に対応し、連続型確率変数 $X$ に対しても積分を用いて自然に拡張されます。

凸関数 $f$ と確率変数 $X$（ただし期待値 $\mathbb{E}[X]$ および $\mathbb{E}[f(X)]$ が存在すると仮定）について、以下の関係が成り立ちます。

$$f(\mathbb{E}[X]) \le \mathbb{E}[f(X)]$$

（※ $f$ が凹関数の場合は $f(\mathbb{E}[X]) \ge \mathbb{E}[f(X)]$）

この確率論的表現は、測度論や解析学における「接線不等式（劣微分・Support Line）」を用いることで、極めて明快に証明できます。

凸関数 $f(x)$ の任意の点 $c = \mathbb{E}[X]$ において、関数グラフの下側に接する直線（支持直線）が存在します。その傾きを $a$ とすると、すべての実数 $x$ に対して次の接線不等式が成り立ちます。

$$f(x) \ge f(c) + a(x - c)$$

ここで $x$ を確率変数 $X$ に置き換え、両辺の期待値をとります。

$$\mathbb{E}[f(X)] \ge \mathbb{E}[f(c) + a(X - c)] = f(c) + a(\mathbb{E}[X] - c)$$

$c = \mathbb{E}[X]$ であるため、右辺の第2項 $a(\mathbb{E}[X] - \mathbb{E}[X])$ は $0$ となり消滅します。結果として直ちに $\mathbb{E}[f(X)] \ge f(\mathbb{E}[X])$ が導かれます。複雑な極限操作を挟まず、凸関数の「どの接線よりも上側にある」という本質だけで期待値の順序が示される点は、数学の構成美と言えます。

【高校数学から繋がる美しさ】相加相乗平均やヘルダーの不等式の鮮やかな導出

イェンゼンの不等式が持つ強力な汎用性は、古典的な有名不等式をいとも簡単に包含してしまう点にあります。高校数学で学ぶ「相加相乗平均の大小関係」も、イェンゼンの不等式を使えばわずか数行で片が付きます。

■ 相加相乗平均の証明（AM-GM不等式）
自然対数関数 $f(x) = \ln x$（$x > 0$）は、2階微分 $f''(x) = -1/x^2 < 0$ より上に凸（凹関数）です。イェンゼンの不等式（凹関数版）を等しい重み $\lambda_i = 1/n$ で適用します。

$$\ln\left(\frac{1}{n} \sum_{i=1}^n x_i\right) \ge \frac{1}{n} \sum_{i=1}^n \ln(x_i) = \ln\left(\prod_{i=1}^n x_i\right)^{1/n}$$

対数関数 $\ln x$ は単調増加関数であるため、真数を比較すればそのまま相加相乗平均の不等式が得られます。

$$\frac{x_1 + x_2 + \dots + x_n}{n} \ge \sqrt[n]{x_1 x_2 \dots x_n}$$

■ ヘルダーの不等式（Hölder's inequality）への架け橋
$1/p + 1/q = 1$（$p, q > 1$）を満たす共役指数に対するヘルダーの不等式も、凸関数 $f(u) = u^p$ に適切な測度変換を施してイェンゼンの不等式を作用させることで直接導出されます。コーシー・シュワルツの不等式やミンコフスキーの不等式といった解析学の基本ツールは、すべてイェンゼンの不等式を幹とする同一の樹形図上に位置しているのです。

【機械学習・データサイエンスへの応用】EMアルゴリズムと変分推論（VI）の核心

現代の統計的機械学習において、イェンゼンの不等式は理論的な飾りではなく「計算困難な確率モデルを最適化するための実動エンジン」として機能しています。その最たる例が、混合ガウスモデル（GMM）などで用いられるEMアルゴリズムと、深層生成モデル（VAEなど）の屋台骨である変分推論（Variational Inference）です。

観測データ $x$ と潜在変数 $z$ を持つモデルにおいて、対数尤度 $\ln p(x)$ を最大化したい局面を考えます。しかし、潜在変数を積分消去（周辺化）した $\ln p(x) = \ln \int p(x, z) dz$ は、積分の内側に複雑な分布が入るため直接計算ができません。

ここで任意の提案分布（変分分布）$q(z)$ を導入し、対数関数 $\ln(\cdot)$ の凹性を利用してイェンゼンの不等式を適用します。

$$\ln p(x) = \ln \int q(z) \frac{p(x, z)}{q(z)} dz = \ln \mathbb{E}_{q(z)}\left[\frac{p(x, z)}{q(z)}\right] \ge \mathbb{E}_{q(z)}\left[\ln \frac{p(x, z)}{q(z)}\right]$$

このイェンゼンの不等式によって導かれた右辺の下界こそが、機械学習で頻出するELBO（Evidence Lower Bound：エビデンス下界）です。

アルゴリズム	イェンゼンの不等式の役割	最適化のアプローチ
EMアルゴリズム	Eステップで事後分布 $p(z|x)$ を $q(z)$ に選ぶことで下界と真の対数尤度を一致させる	Mステップで下界（Q関数）をパラメータに関して最大化
変分オートエンコーダ (VAE)	計算不可能な真の事後分布に対し、ニューラルネットで表現した $q_\phi(z|x)$ でELBOを構築	再パラメータ化トリックを用いてELBOを直接勾配降下法で最適化

「直接扱えない複雑な関数の対数」を「扱いやすい期待値の対数和」へと変換し、最適化可能な下界を作り出す――この機械学習の常套手段は、イェンゼンの不等式なしには成立しません。

【情報理論での威力】カルバック・ライブラー情報量の非負性とエントロピーの限界

Claude Shannon（クロード・シャノン）に始まる情報理論においても、イェンゼンの不等式は物理法則のような絶対的な境界線を規定しています。

2つの確率分布 $P(x)$ と $Q(x)$ の差異を測る尺度であるカルバック・ライブラー情報量（KLダイバージェンス / $D_{\mathrm{KL}}(P \parallel Q)$）は、次のように定義されます。

$$D_{\mathrm{KL}}(P \parallel Q) = \sum_x P(x) \ln \frac{P(x)}{Q(x)} = - \sum_x P(x) \ln \frac{Q(x)}{P(x)}$$

関数 $f(t) = -\ln t$ は凸関数です。イェンゼンの不等式を適用すると、

$$D_{\mathrm{KL}}(P \parallel Q) = \mathbb{E}_P\left[-\ln \frac{Q(X)}{P(X)}\right] \ge -\ln \mathbb{E}_P\left[\frac{Q(X)}{P(X)}\right] = -\ln \left(\sum_x P(x) \frac{Q(x)}{P(x)}\right) = -\ln(1) = 0$$

これにより、「いかなる確率分布の組であっても $D_{\mathrm{KL}}(P \parallel Q) \ge 0$ であり、$P = Q$ のときのみ $0$ になる（ギブスの不等式）」という情報理論の基本定理が極めて簡潔に導かれます。

この非負性の保証があるからこそ、KLダイバージェンスは機械学習における損失関数として安定して機能し、データ圧縮におけるエントロピー限界や通信路容量の導出といった重要定理の拠り所となっているのです。

【イェンゼンの不等式】に関するよくある質問（FAQ）

Q1：イェンゼンの不等式において「等号が成立する条件」は何ですか？
A1：関数 $f(x)$ が狭義の凸関数（厳密に曲がっており直線部分を持たない）である場合、等号が成立するのは「確率変数 $X$ が定数である（分散がゼロである）」場合に限られます。つまり、すべてのデータ点が1点に集中しているとき、または変数のばらつきが存在しないときのみ等号が成り立ちます。

Q2：凸関数（convex）と凹関数（concave）で不等号の向きに迷ったときの覚え方はありますか？
A2：単純な2乗関数 $f(x) = x^2$（下に凸）を頭に思い浮かべると迷いません。$-1$ と $+1$ の平均は $0$ ですが、$f(0) = 0$ に対し、関数値の平均は $(f(-1)+f(1))/2 = 1$ となります。すなわち「$0 \le 1$」となるため、「凸関数は関数に入れてからの値（左辺）が小さい」と即座に判定できます。

Q3：変分オートエンコーダ（VAE）の損失関数とイェンゼンの不等式はどう結びついていますか？
A3：VAEの目的関数は対数周辺尤度 $\ln p(x)$ の最大化ですが、これは直接計算できません。そこでイェンゼンの不等式を用いて下界（ELBO）を導出します。対数尤度とELBOの差はまさに $D_{\mathrm{KL}}(q_\phi(z|x) \parallel p(z|x))$ と等しく、イェンゼンの不等式によってELBOを押し上げることが、真の対数尤度を最大化することと等価になる仕組みになっています。

まとめ：今後の展望と注目ポイント

一見すると幾何学的な「線のたわみ」を記述しただけに思えるイェンゼンの不等式ですが、その本質は「非線形変換と平均化操作の不可逆なズレ」を精密にコントロールする数学的枠組みにあります。

確率論における期待値の評価から、高校数学の相加相乗平均、そして現代の生成モデルや情報幾何学に至るまで、数理モデルの限界や最適化の下界を定義する場面では必ずこの不等式が顔を出します。深層学習のアーキテクチャがどれほど高度化しても、その基盤を支える数理的背骨は変わりません。幾何学的な直感と厳密な代数操作の両面からイェンゼンの不等式を捉え直すことは、理論と実装の架け橋を強固にする確かな足がかりとなるはずです。 （出典: イェンゼン の 不等式（Yahoo!ニュース））