自由エネルギー原理の多面性とその物理的解釈について

能動的推論を自然に導くニューラルネット（正準ニューラルネット）の運動方程式は，磯村拓也・カール・フリストン「コスト関数の性質を明らかにするためのニューラルネットのリバースエンジニアリング (2020)」によって初めて科学の表舞台に引き揚げられた．その運動方程式は $f(x_{t})=\operatorname{sig}^{-1}\left(x_{t}\right)$ としたとき

(1) $\begin{eqnarray*} & \displaystyle \left\{\begin{array}{l} x_{t}=\underbrace{\operatorname{sig}\left(f\left(x_{t}\right)\right)}_{\text {neural activity}} \\ \dot{x}_{t} = -\underbrace{\operatorname{sig}^{-1}\left(x_{t}\right)}_{\text {leak current }}+\underbrace{\left(W_{1}-W_{0}\right) o_{t}}_{\text {synaptic input }}+\underbrace{\left(K_{1}-K_{0}\right) x_{t-1}}_{\text {recurrent input }}+\underbrace{\phi_{1}-\phi_{0}}_{\text {threshold }}=-\frac{\partial L}{\partial x_{t}} \end{array}\right. \end{eqnarray*}$

として与えられる．ただし， $x_{t}$ は時刻 $t$ における正準ニューラルネットの中間層の状態， $\dot{x}_{t}$ はその時間微分 $\frac{d x_{t}}{d t}$ を表している．この正準ニューラルネットは，運動方程式(1)式から導かれるコスト関数 $\textcolor{red}{L}$ が能動的推論を行うエージェントの変分ベイズ自由エネルギー $\textcolor{red}{F}$ と厳密な対応関係を持つ，というある種の深遠さを感じさせる印象的な性質を備えている．

つまり，上の対応関係に従えば，ニューラルネットが淡々と行っている最適化のプロセスをいつでも能動的推論のプロセスに読み替えることができる．脳内に正準ニューラルネットと同型のニューラルネットがあれば，その最適化プロセスを環境と相互作用しながら能動的推論を行うエージェントのベイズ最適化のプロセスと同一視できる．こうした構造が存在しうることを示した点で冒頭の論文は素晴らしい．しかし，同論文はコスト関数の物理的な意味までは明らかにしてくれない．通常の電気回路が統計力学の言葉によって理解されるように，1つ1つのニューロンを電気回路とみなし，その電気回路を連結させた正準ニューラルネットもまた統計力学の言葉によって理解できるはずだ．この観点に立てば，コスト関数は何らかの形で統計力学に登場する物理量と関係しなければならない．そこでこのノートでは，コスト関数と物理量の間にあるはずのミッシングピースの追跡を試みる．

１. 自由エネルギー原理の多面性

１−１. 用語の確認

まず正準ニューラルネットの基本的な性質について確認しておこう．はじめにノート冒頭に登場した(1)式を， $A_{t}=W_{1} o_{t}+K_{1} x_{t-1}+\phi_{1},\ B_{t}=W_{0} o_{t}+K_{0} x_{t-1}+\phi_{0}$ として

(2) $\begin{eqnarray*} & \displaystyle \left\{\begin{array}{l} x_{t}=\operatorname{sig}\left(f\left(x_{t}\right)\right) \\ \dot{x}_{t}=-\operatorname{sig}^{-1}\left(x_{t}\right)+A_{t}-B_{t}=-\frac{\partial L}{\partial x} \end{array}\right. \end{eqnarray*}$

のように書き直してみよう．ここに登場する $\operatorname{sig}\left(x\right),\ \operatorname{sig}^{-1}\left(x\right)$ はシグモイド関数とその逆関数を表していて，シグモイド関数と呼ばれる関数のグループに属していれば具体的な関数形によらずに同様の議論を展開できる．が，以下では，ロジスティック関数とその逆関数であるロジット関数を使って議論を進めていくことにする（従って $x_{t}$ は $0 \leq x_{t} \leq 1$ の範囲を動く変数になる）．

(3) $\begin{eqnarray*} & \displaystyle x_{t}=\operatorname{sig}\left(f\left(x_{t}\right)\right)=\frac{1}{1+e^{-f\left(x_{t}\right)}} \\ & \displaystyle f(x_{t})=\operatorname{sig}^{-1}\left(x_{t}\right)=\ln{\frac{x_{t}}{1-x_{t}}} \end{eqnarray*}$

このとき正準ニューラルネットのコスト関数 $L=\int \frac{\partial L}{\partial x} d x$ は以下になる．

(4) $\begin{eqnarray*} & \displaystyle \begin{aligned} L&=x_{t} \ln x_{t}+\left(1-x_{t}\right) \ln \left(1-x_{t}\right)-A_{t}x_{t}-B_{t}\left(1-x_{t}\right) \\ &=f\left(x_{t}\right) \frac{-e^{-f\left(x_{t}\right)}}{1+e^{-f\left(x_{t}\right)}}-\ln \left(1+e^{-f\left(x_{t}\right)}\right)-\frac{A_{t}}{1+e^{-f\left(x_{t}\right)}}-\frac{e^{-f\left(x_{t}\right)}B_{t}}{1+e^{-f\left(x_{t}\right)}} \end{aligned} \end{eqnarray*}$

ただし，最後の等号の導出には(3)式を使った．このコスト関数 $L$ は能動的推論を行うエージェントの変分ベイズ自由エネルギー $F$ と厳密な対応関係を持つことが知られている．

(5) $\begin{eqnarray*} & \displaystyle \left\{\begin{array}{l} P\left(o_{1: t}, s_{1: t}, A\right)=P(A) \prod_{\tau=1}^{t} P\left(o_{\tau} \mid s_{\tau}, A\right) P\left(s_{\tau}\right) \\ F \approx \sum_{\tau=1}^{t} \mathbf{s}_{\tau} \cdot\left\{\ln \mathbf{s}_{\tau}-\ln \mathbf{A} \cdot o_{\tau}-\ln D\right\} \end{array}\right. \end{eqnarray*}$

ここで議論の見通しをよくするために $A_{t}=B_{t}=0$ として最も単純化された正準ニューラルネット

(6) $\begin{eqnarray*} & \displaystyle \left\{\begin{array}{l} x_{t}=\operatorname{sig}\left(f\left(x_{t}\right)\right) \\ \dot{x}_{t}=-f\left(x_{t}\right)=-\operatorname{sig}^{-1}\left(x_{t}\right)=-\frac{\partial L}{\partial x} \end{array}\right. \end{eqnarray*}$

を考えることにしよう．このときコスト関数 $L$ は

(7) $\begin{align*} L&=x_{t} \ln x_{t}+\left(1-x_{t}\right) \ln \left(1-x_{t}\right) \\ &=f\left(x_{t}\right) \frac{-e^{-f\left(x_{t}\right)}}{1+e^{-f\left(x_{t}\right)}}-\ln \left(1+e^{-f\left(x_{t}\right)}\right) \end{align*}$

となり，シャノンエントロピー $I=-\sum_{i} p_{i}\ln{p_{i}}$ の符号を逆向きにしたものと一致する．良いタイミングなので，ここでシャノンエントロピーと物理量の関係について確認しておこう．ヘルムホルツの自由エネルギー $F$ ，内部エネルギー $E$ ，ギブズエントロピー $S=k_{\mathrm{B}} I$ は系の分配関数 $Z=\operatorname{Tr}\ \exp \left(-\beta H\right)$ と逆温度 $\beta=\frac{1}{k_{\mathrm{B}}T}$ を使って次のように書き表せる（なお，以下では単位系 $k_{\mathrm{B}}=1$ をとりシャノンエントロピーとギブズエントロピーを区別せずに議論する）．

(8) $\begin{align*} F&=-\frac{1}{\beta} \ln Z \\ E&=-\frac{\partial}{\partial \beta} \ln Z \\ S&=\beta\left(-\frac{\partial}{\partial \beta}+\frac{1}{\beta}\right) \ln Z=\beta(E-F) \end{align*}$

よって最も単純化された正準ニューラルネット(6)式の場合，コスト関数 $L$ とギブズエントロピー $S$ は

(9) $\begin{eqnarray*} & \displaystyle \begin{gathered} L=x_{t} \ln x_{t}+\left(1-x_{t}\right) \ln \left(1-x_{t}\right) \\ \Updownarrow \\ -S=\sum_{i} p_{i}\ln{p_{i}} \end{gathered} \end{eqnarray*}$

の対応関係を持つことがわかった．

１−２. ホップフィールド模型

これで用語の確認ができたので，いよいよ本題に入っていこう．正準ニューラルネットのコスト関数と物理量の関係を調べるために，正準ニューラルネットを物理系のモデルに翻訳することを考えていく． $\mu$ 番目の入力 $\left\{o^{\mu}\right\}^{\mu=1,\ldots, p}$ に対応する $i$ 番目のニューロンの興奮パターン（教師ラベル） $\left\{\xi_{i}^{\mu}\right\}^{\mu=1,\ldots, p}_{i=1,\ldots, N}$ と実際の発火状態 $\left\{S_{i}\right\}_{i=1,\ldots, N}$ を考えて，どちらもイジング変数 $\left(\pm1\right)$ をとるとする．そして各ニューロンの発火状態が入力に対応する興奮パターンを再現できたとき想起（連想記憶）に成功したとみなす．このようなランダムなイジング模型を用いたニューラルネットのモデルをホップフィールド模型と呼び，正準ニューラルネットと同様にヘッブ則 $J_{i j}=\frac{1}{N} \sum_{\mu=1}^{p} \xi_{i}^{\mu} \xi_{j}^{\mu}$ に基づいてシナプス加重 $J_{i j}$ を更新していくモデルになっている（例えば，このホップフィールド模型に『ザ・シンプソンズ』の登場人物の画像を記憶させ，一部が欠損した画像から元の登場人物を想起させるといったタスクを解かせることができる）．

このホップフィールド模型のハミルトニアン $H$ と分配関数 $Z$ はそれぞれ

(10) $\begin{align*} H&=-\frac{1}{2} \sum_{i, j} J_{i j} S_{i} S_{j}=-\frac{1}{2} \sum_{i} S_{i} \sum_{j} J_{i j} S_{j} \\ &=-\frac{N}{2} \sum_{\mu} \left(\frac{1}{N} \sum_{i} S_{i}\xi^{\mu}_{i}\right)^{2} \\ Z&=\operatorname{Tr}\ \exp \left(\frac{\beta N}{2} \sum_{\mu}\left(\frac{1}{N} \sum_{i} S_{i} \xi_{i}^{\mu}\right)^{2}\right) \\ &=\operatorname{Tr} \int \prod_{\mu=1}^{p} \mathrm{~d} m^{\mu} \exp \left\{-\frac{\beta N}{2} \sum_{\mu} m_{\mu}^{2}+\beta \sum_{\mu} m_{\mu} \sum_{i} S_{i} \xi_{i}^{\mu}\right\} \\ &=\int \prod_{\mu=1}^{p} \mathrm{d} m^{\mu} \exp \left\{-\frac{\beta N}{2} \boldsymbol{m}^{2}+\sum_{i} \ln \left(2 \cosh \beta \boldsymbol{m} \cdot \boldsymbol{\xi}_{i}\right)\right\} \end{align*}$

と書ける．ただし，分配関数 $Z$ の1行目から2行目の等号にかけてガウス積分の公式

(11) $\begin{align*} e^{a b^{2}}=\sqrt{\frac{a}{\pi}} \int e^{-a x^{2}+2 a b x} d x \end{align*}$

を使った．ここで2行目の等号以降に表れる変数 $m^{\mu}$ を秩序パラメータと呼び，各ニューロンの発火状態が入力に対応する興奮パターンと平均的にどれだけ近いかを表す指標になっている．

(12) $\begin{align*} m^{\mu} \approx \frac{1}{N}\sum_{i}S_{i}\xi^{\mu}_{i} \end{align*}$

このような設定のもとでニューロンの数 $N$ が非常に大きな値をとる状況を考えるために熱力学的極限 $N \rightarrow \infty$ をとると，ホップフィールド模型の自由エネルギー $F$ はラプラスの方法

(13) $\begin{align*} \int_{a}^{b} e^{N f(x)} d x \approx \sqrt{\frac{2 \pi}{-N f^{\prime \prime}\left(x_{0}\right)}} e^{N f\left(x_{0}\right)} \end{align*}$

により

(14) $\begin{align*} F&=-\frac{1}{\beta}\ln{\int \prod_{\mu=1}^{p} \mathrm{d} m^{\mu} \exp \left\{-\frac{\beta N}{2} \boldsymbol{m}^{2}+\sum_{i} \ln \left(2 \cosh \beta \boldsymbol{m} \cdot \boldsymbol{\xi}_{i}\right)\right\}} \\ &\approx \frac{N}{2} \boldsymbol{m}^{2}-\frac{1}{\beta}\sum_{i} \ln \left(2 \cosh \beta \boldsymbol{m} \cdot \boldsymbol{\xi}_{i}\right) \end{align*}$

と書き表せる．ここでニューロン1つ当たりの自由エネルギー $f=\frac{F}{N}$ を考えると

(15) $\begin{align*} f &=\frac{1}{2} \boldsymbol{m}^{2}-\frac{1}{N\beta}\sum_{i}\ln (2 \cosh \beta \boldsymbol{m} \cdot \boldsymbol{\xi}_{i}) \\ \end{align*}$

また，この自由エネルギー $f$ を最小にする秩序パラメータ $\boldsymbol{m}$ は

(16) $\begin{align*} \frac{\partial f}{\partial m^\mu} &=m^\mu-\frac{1}{N} \sum_i \xi_i^\mu \tanh \beta \boldsymbol{m} \cdot \boldsymbol{\xi}_{i} = 0 \end{align*}$

で与えられる．さらに $N$ が十分大きな極限では興奮パターン毎の平均はニューロン毎の配位平均 $[\cdots]$ に置き換えられ

(17) $\begin{align*} f &=\frac{1}{2} \boldsymbol{m}^{2}-\frac{1}{\beta}\left[\ln (2 \cosh \beta \boldsymbol{m} \cdot \boldsymbol{\xi})\right] \\ \boldsymbol{m} &=\left[\boldsymbol{\xi} \tanh \beta \boldsymbol{m} \cdot \boldsymbol{\xi}\right] \end{align*}$

となるので，興奮パターンが1つしかない場合を考えると $m_{1}=m,\ m_{2}=\cdots=m_{p}=0$ となって(17)式は

(18) $\begin{align*} \begin{gathered} \boldsymbol{m} = \left(m, 0,0, \ldots\right) \\ m =\left[\xi^{1} \tanh \left(\beta m \xi^{1}\right)\right]=\tanh \beta m \end{gathered} \end{align*}$

となることがわかる．このときニューロン1つ当たりの自由エネルギー $f=\frac{F}{N}$ ，ニューロン1つ当たりの内部エネルギー $\epsilon=\frac{E}{N}$ ，ニューロン1つ当たりのギブズエントロピー $s=\frac{S}{N}$ はそれぞれ

(19) $\begin{align*} f &=-\frac{1}{\beta}[\ln (2 \cosh \beta m)] + \frac{1}{2} m^2 \\ \epsilon &= -m \tanh \beta m + \frac{1}{2}m^2 \\ s &=- \beta m \tanh \beta m +\ln \left(2 \cosh \beta m\right) \end{align*}$

ここでニューロンの発火状態 $\left\{S_{i}\right\}_{i=1,\ldots, N}$ がイジング変数 $\left(\pm1\right)$ ではなく $0 \leq S_{i} \leq 1$ の範囲を動くように値域をとりなおす変換を考えると

(20) $\begin{align*} \beta m \left(\tanh \left(\beta m\right)-1\right)=2\beta m\frac{-e^{-2\beta m}}{1+e^{-2\beta m}} \end{align*}$

となるので， $f\left(x_{t}\right)=2\beta m$ の対応関係を仮定すれば $L=-s$ が導かれる．

(21) $\begin{align*} L&=f\left(x_{t}\right) \frac{-e^{-f\left(x_{t}\right)}}{1+e^{-f\left(x_{t}\right)}}-\ln \left(1+e^{-f\left(x_{t}\right)}\right) \\ &=2\beta m \frac{-e^{-2\beta m}}{1+e^{-2\beta m}}-\ln \left(1+e^{-2\beta m}\right) \\ &=\beta m \tanh \beta m -\ln \left(2 \cosh \beta m\right) = -s \end{align*}$

このホップフィールド模型は $T \rightarrow 0$ （ $\beta \rightarrow \infty$ ）の低温極限で秩序パラメータ $m$ が $m=\pm 1$ のどちらかに凍りつき，入力に対応する興奮パターンを正確に再現する（想起に成功する）安定状態となることが知られている．

さらにこの低温極限では $-s \approx \beta f$ も成り立つので，ホップフィールド模型という物理系の自由エネルギー $\textcolor{red}{f}$ が正準ニューラルネットのコスト関数 $\textcolor{red}{L}$ と対応関係を持つことがわかる．こうして正準ニューラルネットのコスト関数 $L$ ，能動的推論を行うエージェントの変分ベイズ自由エネルギー $F$ を，物理系の自由エネルギー $f$ に読み替えられることが明らかになった．

(22) $\begin{align*} \begin{gathered} L =x_{t} \ln x_{t}+\left(1-x_{t}\right) \ln \left(1-x_{t}\right) \\ \Updownarrow \\ F = \mathbf{s}_\tau \cdot \ln \mathbf{s}_\tau \\ \Updownarrow \\ -s = \beta m \tanh \beta m -\ln \left(2 \cosh \beta m\right) \approx \beta f \end{gathered} \end{align*}$

ところで最も単純化された正準ニューラルネット(6)式を導入する際， $A_{t}=B_{t}=0$ を仮定した．実はその背景には $\dot{x}(t)=0$ ，すなわち

(23) $\begin{align*} \begin{gathered} f\left(x_{t}\right)=\operatorname{sig}^{-1}\left(x_{t}\right)=A_{t}-B_{t} \\ x_{t}=\operatorname{sig}\left(A_{t}-B_{t}\right)=\frac{e^{A_{t}}}{e^{A_{t}}+e^{B_{t}}} \end{gathered} \end{align*}$

という関係式が仮定されていた．つまり， $A_{t}=B_{t}=0$ を仮定することには正準ニューラルネットの中間層への入力 $A_{t}-B_{t}$ を一定値に固定するという意味があった．入力が一定値に固定されたということは，入力が1種類に限定されたと言い換えても良い．そのため中間層の興奮パターンも1種類に限定される．こうして(22)式を導くまでに導入された様々な仮定（熱力学的極限 $N \rightarrow \infty$ ，興奮パターンの数を1つに限定 $\boldsymbol{m} = \left(m, 0,0, \ldots\right)$ ，低温極限 $\beta \rightarrow \infty$ ）にそれぞれ物理的な妥当性があることがわかった．

(24) $\begin{align*} \begin{gathered} L　=　f\left(x_{t}\right) \frac{-e^{-f\left(x_{t}\right)}}{1+e^{-f\left(x_{t}\right)}}-\ln \left(1+e^{-f\left(x_{t}\right)}\right)-\frac{A_{t}}{1+e^{-f\left(x_{t}\right)}}-\frac{e^{-f\left(x_{t}\right)}B_{t}}{1+e^{-f\left(x_{t}\right)}} \\ \Updownarrow \\ -s = \beta m \tanh \beta m -\ln \left(2 \cosh \beta m\right) -\frac{A_{t}}{2} \left(\tanh{\beta m}+1\right) +\frac{B_{t}}{2} \left(\tanh {\beta m}-1\right) 　\approx \beta f \end{gathered} \end{align*}$

参考文献

Takuya Isomura, Karl Friston; Reverse-Engineering Neural Networks to Characterize Their Cost Functions. Neural Comput 2020; 32 (11): 2085–2121.
Takuya Isomura, Hideaki Shimazaki and Karl Friston; Canonical neural networks perform active inference. Commun Biol 2022; 5, 55.
Takuya Isomura; Active inference leads to Bayesian neurophysiology. Neurosci Res 2022, 175, pp. 38-45.
Hidetoshi Nishimori; Statistical Physics of Spin Glasses and Information Processing: an Introduction. Oxford University Press 2001.
Haiping Huang; Statistical Mechanics of Neural Networks. Springer 2021.
Hubert Ramsauer, Bernhard Schäfl, Johannes Lehner, Philipp Seidl, Michael Widrich, Thomas Adler, Lukas Gruber, Markus Holzleitner, Milena Pavlović, Geir Kjetil Sandve, Victor Greiff, David Kreil, Michael Kopp, Günter Klambauer, Johannes Brandstetter, Sepp Hochreiter; Hopfield Networks is All You Need. International Conference on Learning Representations (ICLR) 2021.

Yusuke Hayashi's Blog

自由エネルギー原理の多面性とその物理的解釈について

１. 自由エネルギー原理の多面性

１−１. 用語の確認

１−２. ホップフィールド模型

参考文献

いいね: