イェンセンの不等式とは？凸関数の直感・証明と機械学習応用を完全解剖

機械学習の最新論文や統計モデリングの専門書を開くと、数式展開の要所で当然のように登場する「イェンセンの不等式（Jensen's inequality）」。変分オートエンコーダ（VAE）の変分下界（ELBO）の導出やEMアルゴリズムの理論的基礎など、現代のAIアルゴリズムを支える極めて重要な数理ツールの一つです。

一見すると難解な確率論の定理に見えますが、その根底にあるのは「凸関数の幾何学的な性質」という極めて明快な物理的・幾何学的直感に基づいています。本稿では、イェンセンの不等式の直感的なイメージから厳密な証明、さらには相加相乗平均の導出や機械学習・情報理論における実践的な応用例まで、本質を余すところなく紐解きます。

📌 【この記事の重要ポイントまとめ】

• 要点1：イェンセンの不等式は「凸関数の期待値は、期待値の関数値以上になる（$f(E[X]) \le E[f(X)]$）」という関数と期待値の順序交換に関する基本定理。
• 要点2：幾何学的には「凸関数のグラフ上の2点を結ぶ線分（弦）は常にグラフの上側にある」という性質の多次元・確率空間への自然な拡張である。
• 要点3：相加相乗平均の証明から、機械学習のEMアルゴリズム、VAEの損失関数設計、情報理論のKLダイバージェンスの非負性証明まで幅広く不可欠な役割を果たす。

【基礎知識】イェンセンの不等式とは？凸関数・凹関数の定義と直感的な幾何イメージ

イェンセンの不等式を理解するための第一歩は、基礎となる凸関数・凹関数の定義を正しく把握することです。

実数区間上で定義された関数 $f(x)$ について、任意の2点 $x_1, x_2$ と $0 \le t \le 1$ を満たす任意の内分比 $t$ に対して、以下の関係が成り立つとき、関数 $f(x)$ を下に凸な関数（単に凸関数：Convex function）と呼びます。

$$f(t x_1 + (1-t) x_2) \le t f(x_1) + (1-t) f(x_2)$$

この数式の左辺は「2点の内分点における関数の値」を表し、右辺は「関数値の内分点（2点を結ぶ線分上の点）」を表します。つまり幾何学的には、「グラフ上の任意の2点を結んだ直線（弦）が、常に関数のグラフよりも上側（または一致する位置）に存在する」状態を指します。代表的な凸関数には $f(x) = x^2$ や $f(x) = e^x$、$f(x) = -\log x$（$x > 0$）などがあります。

逆に、不等号が逆転する関数（$-f(x)$ が凸関数になるもの）を上に凸な関数（凹関数：Concave function）と呼び、代表例として $f(x) = \log x$ や $f(x) = \sqrt{x}$ が挙げられます。

この2点の内分関係を、確率変数 $X$ の確率分布全体（無限個の点とその重み付け）に拡張したものが、確率論におけるイェンセンの不等式です。

$$f(E[X]) \le E[f(X)] \quad \text{（$f$ が凸関数の場合）}$$

$$f(E[X]) \ge E[f(X)] \quad \text{（$f$ が凹関数の場合）}$$

直感的な意味として、「先に平均（期待値）を取ってから関数を通した値 $f(E[X])$」よりも、「先に関数を通してから平均を取った値 $E[f(X)]$」のほうが大きくなる、と捉えると直感に馴染みやすくなります。

【厳密な証明】有限和の数学的帰納法から測度論・条件付き期待値まで

イェンセンの不等式がなぜ成り立つのか、離散分布における初等的な証明から、現代数学・測度論に基づく連続分布の証明まで段階的に確認していきます。

まずは、最も基本的かつ直感的な離散確率分布に対する有限和の証明（数学的帰納法）です。確率 $p_i \ge 0$（$\sum_{i=1}^n p_i = 1$）に対して、次式を示します。

$$f\left(\sum_{i=1}^n p_i x_i\right) \le \sum_{i=1}^n p_i f(x_i)$$

$n=1$ のときは自明に等号が成立し、$n=2$ のときは凸関数の定義そのものです。$n=k$ で成立すると仮定し、$n=k+1$ の場合を考えます。最後の項を分離して比率を調整することで、定義と帰納法の仮定を2段階で適用し、数学的帰納法によって一般の $n$ について不等式が成り立つことが証明されます。

一方、より高度な測度論的確率論における連続型確率変数への証明では、凸関数の重要な解析的性質である「劣微分（サポートライン／支持直線）の存在」を利用します。

凸関数 $f(x)$ の任意の点 $\mu = E[X]$ において、関数の下側に接する直線（支持直線）が存在します。その傾きを $c$ とおくと、すべての $x$ に対して以下の不等式が成立します。

$$f(x) \ge f(\mu) + c(x - \mu)$$

ここで $x$ を確率変数 $X$ に置き換え、両辺の期待値をとると、線形性から次のように展開できます。

$$E[f(X)] \ge E[f(\mu) + c(X - \mu)] = f(\mu) + c(E[X] - \mu)$$

$\mu = E[X]$ であるため右辺第2項の $(E[X] - \mu)$ は厳密に $0$ となり、直ちに $E[f(X)] \ge f(E[X])$ が導かれます。この支持直線を用いた証明法は、測度論空間上の積分論においても極めて明快で汎用性が高いアプローチです。

さらに、現代の確率過程やマルチンゲール理論では、部分 $\sigma$ 代数 $\mathcal{G}$ による条件付き期待値に対するイェンセンの不等式へと拡張されます。

$$f(E[X \mid \mathcal{G}]) \le E[f(X) \mid \mathcal{G}]$$

この拡張定理は、金融工学における資産価格モデルの評価や、時系列解析の収束判定において基礎方程式として広く活用されています。

【身近な具体例】相加相乗平均の不等式をイェンセンの不等式から一瞬で導く

イェンセンの不等式の強力さを示す代表的な例題が、高校数学でおなじみの「相加相乗平均の不等式（AM-GM不等式）」の証明です。

正の実数 $x_1, x_2, \dots, x_n$ に対して、相加平均は $\frac{1}{n}\sum_{i=1}^n x_i$、相乗平均は $\left(\prod_{i=1}^n x_i\right)^{1/n}$ です。ここで、自然対数関数 $f(x) = \log x$ を考えます。対数関数は2階微分が $f''(x) = -1/x^2 < 0$ となるため、定義域 $x > 0$ において厳密に凹関数です。

各点 $x_i$ を等確率 $p_i = 1/n$ で取る離散確率変数を想定し、凹関数に対するイェンセンの不等式を適用します。

$$\log\left(\frac{1}{n} \sum_{i=1}^n x_i\right) \ge \frac{1}{n} \sum_{i=1}^n \log x_i$$

対数の性質 $\frac{1}{n} \sum \log x_i = \log \left(\prod_{i=1}^n x_i\right)^{1/n}$ を代入すると、以下の形になります。

$$\log\left(\frac{x_1 + x_2 + \cdots + x_n}{n}\right) \ge \log\left(\sqrt[n]{x_1 x_2 \cdots x_n}\right)$$

対数関数 $\log x$ は単調増加関数であるため、真数をそのまま比較することで、相加相乗平均の不等式が一瞬で導出されます。

$$\frac{x_1 + x_2 + \cdots + x_n}{n} \ge \sqrt[n]{x_1 x_2 \cdots x_n}$$

また、凸関数 $f(x) = x^2$ を適用すれば、分散の非負性を示す公式 $V[X] = E[X^2] - (E[X])^2 \ge 0$ もイェンセンの不等式の直接的な帰結であることが分かります。

【機械学習・情報理論への応用】EMアルゴリズムとVAEのELBOを支える核心

現代の機械学習分野において、イェンセンの不等式は単なる数学的教養にとどまらず、アルゴリズムの最適化境界を構成する決定的な数理基盤となっています。

代表的な応用例が、混合ガウスモデル（GMM）や隠れマルコフモデル（HMM）のパラメータ推定で用いられるEMアルゴリズム（Expectation-Maximization Algorithm）です。

観測データ $X$ と潜在変数 $Z$ を含むモデルにおいて、対数尤度 $\log p(X|\theta)$ を直接最大化することは潜在変数の積分（周辺化）が絡むため困難です。そこで任意の潜在変数分布 $q(Z)$ を導入し、対数関数の凹性に着目してイェンセンの不等式を適用します。

$$\log p(X|\theta) = \log \sum_Z q(Z) \frac{p(X, Z|\theta)}{q(Z)} \ge \sum_Z q(Z) \log \frac{p(X, Z|\theta)}{q(Z)}$$

この不等式の右辺は対数尤度の下界（Evidence Lower Bound: ELBO）と呼ばれます。Eステップで下界を現在のパラメータに接触させ（等号を成立させ）、Mステップでその下界を最大化することで、複雑な潜在変数モデルの対数尤度を確実に単調増加させる理論的保証が得られます。

このELBO最大化のパラダイムは、深層生成モデルの代表格である変分オートエンコーダ（VAE: Variational Autoencoder）の損失関数設計へそのまま受け継がれています。ニューラルネットワークで近似事後分布 $q_\phi(z|x)$ をモデル化し、イェンセンの不等式によって導かれたELBOを最大化するアプローチは、画像生成や音声合成など多岐にわたる生成AIの根幹を支えています。

さらに、情報理論の基礎であるカルバック・ライブラー情報量（KLダイバージェンス）の非負性（$D_{\mathrm{KL}}(P \parallel Q) \ge 0$）の証明にも、イェンセンの不等式が直接利用されます。2つの確率分布の差異を測る尺度が常に $0$ 以上であり、両者が一致するときに限り $0$ になるという性質（ギブスの不等式）は、機械学習の交差エントロピー損失の正当性を担保する根幹です。

【実践の落とし穴】イェンセンの不等式を扱う際の注意点と等号成立条件

イェンセンの不等式を実際のアルゴリズム解析や統計計算に適用する際、見落としがちな重要ポイントが2点あります。

第1に、等号成立条件の厳密な確認です。関数 $f$ が狭義凸関数（Strictly convex function）である場合、不等式 $f(E[X]) \le E[f(X)]$ の等号が成立するのは、確率変数 $X$ が確率 $1$ で定数となる場合（すなわち分散が $0$ である $V[X] = 0$ の場合）に限られます。機械学習の変分推論においてELBOが真の対数尤度と完全に一致するのは、変分事後分布 $q(z|x)$ が真の事後分布 $p(z|x)$ と完全に一致（KLダイバージェンスが $0$）した瞬間のみです。

第2に、「イェンセンのギャップ（Jensen's gap）」の存在です。両辺の差である $E[f(X)] - f(E[X])$ は、関数の曲率（2階微分）と確率変数の分散に依存します。テイラー展開を用いて2次の項まで近似すると、以下の関係が見えてきます。

$$E[f(X)] - f(E[X]) \approx \frac{1}{2} f''(E[X]) \cdot V[X]$$

分散が大きい領域や関数の曲率が急激な領域では、下界による近似誤差（ギャップ）が拡大します。高精度な統計モデリングや強化学習の目的関数設計を行う際には、このギャップが推定バイアスを引き起こすリスクを念頭に置く必要があります。

【イェンセンの不等式】に関するよくある質問（FAQ）

Q1：イェンセンの不等式とコーシー・シュワルツの不等式はどのように使い分ければよいですか？
A1：着目する対象が異なります。コーシー・シュワルツの不等式は「2つのベクトルや確率変数の内積・相関（$|E[XY]|^2 \le E[X^2]E[Y^2]$）」に関する幾何学的制約を扱います。一方、イェンセンの不等式は「単一の確率変数を凸関数（または凹関数）に適用した際の期待値の順序」を扱うため、非線形変換や対数尤度の下界評価にはイェンセンの不等式を用います。

Q2：凸関数かどうかを最も簡単に判定する方法は何ですか？
A2：2回微分可能な1変数関数の場合、定義域内のすべての点で2階導関数が非負（$f''(x) \ge 0$）であることを確認するのが最も確実です。多変数の場合は、ヘッセ行列（Hessian matrix）が半正定値行列（すべての固有値が $0$ 以上）であるかを確認します。

Q3：金融工学やリスク管理ではどのように応用されていますか？
A3：金融オプションの価格評価や投資家の「リスク回避的選好」のモデル化に多用されます。効用関数 $U(w)$ は一般に凹関数（富が増えるほど限界効用が逓減する）と仮定されるため、$E[U(W)] \le U(E[W])$ となり、「不確実なリターンの期待効用は、確実に得られる期待値の効用よりも低くなる」というリスクプレミアムの発生メカニズムを理論的に説明する根拠になります。

まとめ：数理構造の理解がAI開発とデータ分析の解像度を引き上げる

イェンセンの不等式は、高校数学の相加相乗平均から最先端の生成AIアルゴリズムに至るまで、一貫して数学とコンピュータサイエンスの架け橋となってきた極めて美しい定理です。

「凸関数の弦はグラフの上にある」というシンプルな幾何学的性質が、確率空間を通じて機械学習の損失関数や下界の最大化へと発展していく構造を理解することは、ブラックボックス化しがちな機械学習モデルの挙動を根本から見通すための大きな武器になります。数式展開に迷った際は、ぜひその幾何学的直感に立ち返り、本質的な関係性を捉え直してみてください。 （出典: イェンセン の 不等式（Yahoo!ニュース））