イェンセンの不等式とは？凸関数の直感から機械学習・証明まで徹底解説

統計学や機械学習の専門書を開くと、基礎理論の核心部で必ずと言っていいほど登場する数式がある。それが「イェンセンの不等式（Jensen's inequality）」だ。一見すると抽象的な期待値の記号に圧倒され、数理モデルの理解にブレーキがかかってしまう学習者も少なくない。

しかし、その本質は驚くほど視覚的で美しい。下に凸な関数の幾何学的性質さえ掴んでしまえば、なぜ不等号がその向きになるのかは直感的に腑に落ちる。本稿では、イェンセンの不等式が持つ直感的なイメージから厳密な証明、等号成立条件、さらには現代のAIアルゴリズムを支える決定的な応用例まで、体系的かつ明快に解き明かしていく。

📌 【この記事の重要ポイントまとめ】

• 要点1：「期待値の関数値」と「関数値の期待値」の大小関係を規定する定理であり、凸関数の幾何学的性質が本質である。
• 要点2：数学的帰納法を用いた離散版の証明から高校数学でおなじみの相加相乗平均の不等式まで、統一的に導出できる。
• 要点3：EMアルゴリズムや変分推論（ELBO）、情報理論のカルバック・ライブラー情報量など、機械学習の中核を支える最重要ツールである。

【直感でつかむ】イェンセンの不等式とは？凸関数のグラフから本質を可視化

イェンセンの不等式を一言で表すと、「凸関数において、平均をとってから関数に入れる値は、関数に入れてから平均をとった値以下になる」という定理だ。確率論の言葉を使えば、確率変数 $X$ と凸関数 $f(x)$ に対して以下の不等式が成立する。

$$f(\mathbb{E}[X]) \le \mathbb{E}[f(X)]$$

ここで $\mathbb{E}[X]$ は確率変数 $X$ の期待値（平均）を表す。左辺は「平均値に対する関数の値」、右辺は「各点での関数値の期待値（平均）」を意味している。凹関数（上に凸な関数）の場合は不等号の向きが逆転し、$f(\mathbb{E}[X]) \ge \mathbb{E}[f(X)]$ となる。

この定理の直感的なイメージは、2次元平面上のグラフを描くと一目瞭然だ。お椀のように下に膨らんだ凸関数 $f(x) = x^2$ のグラフを思い浮かべてほしい。グラフ上の2点 $A(x_1, f(x_1))$ と $B(x_2, f(x_2))$ を線分（弦）で結ぶと、その線分は必ず関数の曲線よりも「上側」に位置する。

2つの値 $x_1$ と $x_2$ の真ん中の値（平均値 $\frac{x_1 + x_2}{2}$）を関数に入れた値 $f(\frac{x_1 + x_2}{2})$ はグラフの底に近い低い位置にある。一方で、2点の関数値の平均 $\frac{f(x_1) + f(x_2)}{2}$ は弦の中点に位置するため、必ず高い位置に来る。点が増えて重み付き平均（確率分布）になってもこの幾何学的位置関係は崩れない。これがイェンセンの不等式の本質だ。

【厳密な証明】数学的帰納法でスッキリ理解する離散版の導出プロセス

直感的な幾何構造を理解したところで、数学的に厳密な証明を確認しよう。有限個の離散データに対するイェンセンの不等式は、高校数学でも扱う数学的帰納法を用いてエレガントに証明できる。

実数の重み $p_i > 0$（ただし $\sum_{i=1}^n p_i = 1$）と凸関数 $f(x)$ に対し、目標とする命題は次の形をとる。

$$f\left(\sum_{i=1}^n p_i x_i\right) \le \sum_{i=1}^n p_i f(x_i)$$

【ステップ1：$n=1, 2$ の場合】
$n=1$ のときは自明に等号が成立する。$n=2$ のとき、$p_1 + p_2 = 1$（$0 < p_1, p_2 < 1$）であるから、不等式は $f(p_1 x_1 + p_2 x_2) \le p_1 f(x_1) + p_2 f(x_2)$ となる。これはまさに凸関数の数学的定義そのものであり、成立が保証される。

【ステップ2：$n=k$ で成立を仮定し、$n=k+1$ を示す】
$n=k$ のときに命題が成立すると仮定する。$n=k+1$ の場合、左辺の合成変数を巧みに分解する。全体の重みのうち先頭 $k$ 個の和を $S_k = \sum_{i=1}^k p_i$ と置くと、$S_k + p_{k+1} = 1$ と書ける。これを利用して内側の平均を2つの項にまとめ直す。

$$\sum_{i=1}^{k+1} p_i x_i = S_k \left( \sum_{i=1}^k \frac{p_i}{S_k} x_i \right) + p_{k+1} x_{k+1}$$

ここで $\sum_{i=1}^k \frac{p_i}{S_k} = 1$ であるため、まずは $n=2$ の凸関数の性質を適用する。

$$f\left(\sum_{i=1}^{k+1} p_i x_i\right) \le S_k f\left( \sum_{i=1}^k \frac{p_i}{S_k} x_i \right) + p_{k+1} f(x_{k+1})$$

次に、帰納法の仮定（$n=k$ で成立）を $f\left( \sum_{i=1}^k \frac{p_i}{S_k} x_i \right)$ に適用すると、$\sum_{i=1}^k \frac{p_i}{S_k} f(x_i)$ 以下となるため、全体を展開してまとめると以下の式が得られる。

$$\le S_k \sum_{i=1}^k \frac{p_i}{S_k} f(x_i) + p_{k+1} f(x_{k+1}) = \sum_{i=1}^{k+1} p_i f(x_i)$$

これにより、$n=k+1$ でも不等式が成り立つことが示され、任意の自然数 $n$ において命題が真であることが証明された。連続確率変数の場合も、確率測度論における積分の極限操作や接線を用いたアプローチで同様に導出される。

ここで押さえておくべきなのが等号成立条件だ。狭義凸関数（曲線が直線部分を含まない真のカーブを持つ場合）においてイコールが成り立つのは、すべての $x_i$ が同一の値をとる場合（確率論では $X$ が定数確率変数である場合、すなわち分散が 0 のとき）に限られる。この性質は、後の最適化理論で決定的な役割を果たす。

【高校数学との架け橋】相加相乗平均の不等式も一瞬で導ける鮮やかな関係性

イェンセンの不等式の威力を最も身近に実感できる例が、高校数学で学ぶ相加相乗平均の不等式の導出だ。

正の実数 $x_1, x_2, \dots, x_n > 0$ に対して、対数関数 $f(t) = -\log t$ を考える。対数関数 $\log t$ は上に凸な関数であるため、マイナスをつけた $-\log t$ は狭義凸関数となる。重みをすべて均等に $p_i = \frac{1}{n}$ と設定し、イェンセンの不等式に当てはめてみよう。

$$-\log\left( \frac{1}{n}\sum_{i=1}^n x_i \right) \le \frac{1}{n} \sum_{i=1}^n (-\log x_i)$$

両辺に $-1$ を掛けて不等号の向きを反転させ、対数の性質 $\frac{1}{n}\sum \log x_i = \log \left(\prod x_i\right)^{1/n}$ を適用する。

$$\log\left( \frac{1}{n}\sum_{i=1}^n x_i \right) \ge \log \left( \sqrt[n]{x_1 x_2 \dots x_n} \right)$$

対数関数は単調増加関数であるため、真数同士をそのまま比較できる。

$$\frac{x_1 + x_2 + \dots + x_n}{n} \ge \sqrt[n]{x_1 x_2 \dots x_n}$$

高校数学では証明に工夫が必要だった相加相乗平均の関係式が、イェンセンの不等式を用いることでわずか数行で導かれた。等号成立条件も「狭義凸関数において各点が一致するとき」、すなわち $x_1 = x_2 = \dots = x_n$ のときとなり、完全に整合する。

【機械学習の急所】なぜ統計数理やAIアルゴリズムでイェンセンの不等式が必須なのか

多くのデータサイエンティストが「なぜ機械学習の数理でイェンセンの不等式がこれほど頻出するのか」という疑問に直面する。その答えは、「観測できない潜在変数を含む確率モデルにおいて、直接計算できない対数尤度（対数周辺尤度）の最適化可能な下限値（下界）を作り出すため」にほかならない。

機械学習の目的の多くは、データ $x$ が得られる対数尤度 $\log p(x)$ を最大化することだ。しかし、背景に隠れた潜在変数 $z$ が存在する場合、対数尤度は次のように積分（または総和）の形で表される。

$$\log p(x) = \log \int p(x, z) \, dz$$

この式の厄介な点は、「対数の中に積分（総和）が入っている」点にある。対数の中身が足し算になっていると微分の計算が破綻し、解析的にも数値的にもパラメータの最適化が極めて困難になる。

そこで、任意の提案分布 $q(z)$ を導入し、対数関数が凹関数（上に凸）であることを利用してイェンセンの不等式を適用する。

$$\log p(x) = \log \int q(z) \frac{p(x, z)}{q(z)} \, dz = \log \mathbb{E}_{q}\left[ \frac{p(x, z)}{q(z)} \right] \ge \mathbb{E}_{q}\left[ \log \frac{p(x, z)}{q(z)} \right]$$

この不等式によって得られた右辺こそが、機械学習において極めて重要な証拠下界（ELBO: Evidence Lower Bound）だ。対数記号が積分の内側に入ったことで計算が劇的に扱いやすくなり、この下界を最大化することで間接的に元の対数尤度を効率良く最大化できるようになる。

この原理は、不完全データからパラメータを推定する古典的名手法であるEMアルゴリズム（Expectation-Maximization Algorithm）の理論的バックボーンであり、現代の大規模ベイズ推論を可能にする変分推論（Variational Inference）の基盤そのものである。

【応用事例】情報理論のKLダイバージェンスと変分オートエンコーダ（VAE）への展開

イェンセンの不等式の恩恵は、情報理論と現代の生成AIモデルにも深く根を張っている。

代表例が、2つの確率分布 $P$ と $Q$ の差異を測る尺度であるカルバック・ライブラー情報量（KLダイバージェンス / $D_{\mathrm{KL}}(P \parallel Q)$）が常に 0 以上になること（ギブスの不等式）の証明だ。

$$D_{\mathrm{KL}}(P \parallel Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)} = - \sum_x P(x) \log \frac{Q(x)}{P(x)}$$

凸関数 $f(t) = -\log t$ に対してイェンセンの不等式を適用すると、以下のように展開できる。

$$D_{\mathrm{KL}}(P \parallel Q) \ge - \log \left( \sum_x P(x) \frac{Q(x)}{P(x)} \right) = - \log \left( \sum_x Q(x) \right) = - \log(1) = 0$$

「2つの分布の乖離度は決してマイナスにならない」という情報理論の大前提が、イェンセンの不等式によってエレガントに担保されている。等号が成り立つのは $P(x) = Q(x)$ のときのみである。

画像生成や表現学習で広く利用される変分オートエンコーダ（VAE）の損失関数も、まさにこのKLダイバージェンスとイェンセンの不等式から導かれたELBOの最大化問題として定式化されている。一見難解な最先端AIのアーキテクチャも、根底を流れる数理はすべてイェンセンの不等式という一本の強固な支柱で繋がっている。

【イェンセンの不等式】に関するよくある質問（FAQ）

Q1：凸関数（下に凸）と凹関数（上に凸）で不等号の向きはどう変わりますか？
A1：凸関数（下に凸、例えば $f(x)=x^2$ や $f(x)=e^x$）の場合は $f(\mathbb{E}[X]) \le \mathbb{E}[f(X)]$ となり、「平均の関数値 $\le$ 関数値の平均」となります。一方、凹関数（上に凸、例えば $f(x)=\log x$ や $f(x)=\sqrt{x}$）の場合は不等号が反転し、$f(\mathbb{E}[X]) \ge \mathbb{E}[f(X)]$ が成り立ちます。

Q2：等号成立条件（イコールになる瞬間）は具体的にどのようなケースですか？
A2：関数が狭義凸（真のカーブを描く形状）である場合、確率変数 $X$ が定数であるとき（分散が 0 で $X = \mathbb{E}[X]$ が確率 1 で成り立つとき）にのみ等号が成立します。また、関数 $f(x)$ 自体が $f(x) = ax + b$ のような線形関数（直線）である場合は、変数のばらつきに関係なく常に等号が成り立ちます。

Q3：機械学習の論文でイェンセンの不等式が出てきたら、どこに注目して読めばよいですか？
A3：「直接計算できない目的関数の下限値（Lower Bound）を作ろうとしている」という意図を読み取ることがポイントです。特に対数尤度の中に積分や確率変数の期待値が入っている場面で、計算を簡単にするためにイェンセンの不等式を適用して対数を内側に入れ、変分下界（ELBO）を導出しているパターンがほとんどです。

まとめ：数式の壁を越えてAIとデータサイエンスの深層へ

抽象的な記号の並びに見えるイェンセンの不等式だが、その実体は「凸関数の弦は曲線の上側にある」という極めて直感的かつ明快な幾何学的原理に基づいている。

基礎的な相加相乗平均の証明から、統計モデルのパラメータ推定を担うEMアルゴリズム、そして現代の生成モデルや変分推論に至るまで、この不等式が果たす役割は極めて大きい。数式の背後にある幾何学的な意味と「扱いづらい対数の積分を下界で近似する」という実用上の意図を掴むことで、機械学習の高度な数理論文も格段にクリアな視界で読み解けるようになるはずだ。 （出典: イェンセン の 不等式（Yahoo!ニュース））