ニューラルネットとAdS/CFT対応

機械学習の熱力学は，量子重力理論の歴史におけるブラックホール熱力学と同じような歴史的位置にあるのかもしれない．ベッケンシュタイン・ホーキング公式の発見がブラックホール熱力学を生み出し，ホログラフィー原理（場の量子論と重力理論の対応）の原型となったように，機械学習の新しい見方が生まれる可能性がある．ただし，量子重力理論の歴史的経緯とは逆さまに，機械学習の場合は，先に機械学習と場の量子論の対応関係がみつかり，そこからホログラフィー原理を経由して機械学習の熱力学が導かれるのではないか．そう思わせる研究が最近出てきている1K. Hashimoto, S. Sugishita, A. Tanaka and A. Tomiya, “Deep learning and the AdS/CFT correspondence”, Phys. Rev. D 98, 046019 (2018)．

１. 量子重力理論の歴史

１−１. 量子重力理論の歴史


ブラックホール熱力学の発見からホログラフィー原理，\mathrm{AdS_{d+2}} / \mathrm{CFT}_{d+1} 対応までの歴史的経緯を概説．

１−２. ブラックホール熱力学


Schwarzschildブラックホールの計量は

(1)   \begin{eqnarray*} & \displaystyle ds^{2} = -\left(1-\frac{r_{H}}{r}\right) d t^{2}+\frac{d r^{2}}{1-\frac{r_{\mathrm{H}}}{r}}+r^{2} d\Omega^{2} \end{eqnarray*}

ただし，r_{\mathrm{H}}=2M．また，地平線近傍ではこの計量を

(2)   \begin{eqnarray*} & \displaystyle ds^{2} = -\left(\frac{r-r_{\mathrm{H}}}{r_{\mathrm{H}}}\right) d t^{2} + \left(\frac{r_{\mathrm{H}}}{r - r_{\mathrm{H}}}\right) dr^{2} + r_{\mathrm{H}}^{2} d\Omega^{2} \end{eqnarray*}

と近似できる．半径方向の座標を \xi=2 \sqrt{r_{H}\left(r-r_{\mathrm{H}}\right)} と置き直し，時間をユークリッド化 t_{\mathrm{E}}=it するとこの計量は

(3)   \begin{eqnarray*} & \displaystyle ds^{2} = \frac{\xi^{2}}{4 r_{\mathrm{H}}^{2}} dt^{2}_{\mathrm{E}} + d\xi^{2} + r_{\mathrm{H}}^{2} d\Omega^{2} \end{eqnarray*}

となる．ここでこの計量が特異性をもたないという要請を課すと t_{\mathrm{E}} は 4 \pi r_{\mathrm{H}} の周期をもつことが導かれる．更に，この周期は逆温度に比例するため，ブラックホールの温度 T_{\mathrm{H}} = \frac{1}{8 \pi M} がわかる．ここからブラックホールの熱力学

(4)   \begin{eqnarray*} & \displaystyle T_{\mathrm{H}} dS = dM \end{eqnarray*}

が導かれる．ブラックホールの地平線の表面積は A_{\mathrm{H}} =4 \pi r_{\mathrm{H}}^{2} となるので，次のBekenstein-Hawking（BH）公式2J. D. Bekenstein, “Black holes and entropy”, Physical Review D. 7 (8): 2333–2346 (1973).3S. W. Hawking, “Black hole explosions?”, Nature, 248, 30 (1974).が導かれる．

(5)   \begin{eqnarray*} & \displaystyle S_{\mathrm{BH}}(A) = 4 \pi M^{2} = \frac{A_{\mathrm{H}}}{4} \end{eqnarray*}

ブラックホールの表面積がエントロピーと比例することを発見．

１−３. ホログラフィー原理


d+2 次元の重力理論は，重力を含まない d+1 次元の量子系と物理的に等価になるというホログラフィー原理の仮説を，d+2 次元のバルク時空上の重力理論 \mathrm{AdS_{d+2}} とその境界上の共形場理論 \mathrm{CFT}_{d+1} の対応（\mathrm{AdS_{d+2}} / \mathrm{CFT}_{d+1} 対応）とみなして具体的に計算していく．

d+2 次元の反ドジッター時空上のSchwarzschildブラックホールの計量は

(6)   \begin{eqnarray*} & \displaystyle ds^{2} = \frac{R^{2}}{z^2}\left( -f(z)dt^2 + \frac{dz^{2}}{f(z)} + \sum^{d}_{i=1}dx^{2}_{i} \right) \\ & \displaystyle \hspace{-106pt} f(z) = 1 - \left( \frac{z}{z_{\mathrm{H}}} \right)^{d+1} \end{eqnarray*}

この計量をPoincaré座標で書き直し，時間をユークリッド化 t_{\mathrm{E}}=it すると

(7)   \begin{eqnarray*} & \displaystyle ds^{2} = \frac{R^{2}}{z^2}\left( dt^2_{\mathrm{E}} + dz^{2} + \sum^{d}_{i=1}dx^{2}_{i} \right) \end{eqnarray*}

となる．バルク時空上の重力理論の分配関数と境界上の共形場理論の分配関数が一致することを要請する \mathrm{AdS_{d+2}} / \mathrm{CFT}_{d+1} 対応の原理，バルク／境界対応を使ってBH公式を一般化した公式を導く．

(8)   \begin{eqnarray*} & \displaystyle Z_{\mathrm{gravity}} = Z_{\mathrm{CFT}} \\ & \displaystyle \hspace{10pt} Z_{\mathrm{gravity}}(\phi_{i}) = \left\langle e^{i \int d^{d+1} x \mathcal{O}_{i}(x) J_{i}(x)}\right\rangle_{\mathrm{CFT}} \end{eqnarray*}

重力理論を古典重力で近似できる場合，次が成り立つ．

(9)   \begin{eqnarray*} & \displaystyle Z_{\mathrm{gravity}}\left(\phi_{i}\right) \simeq e^{- I_{\mathrm{gravity}}\left(\phi_{i}\right)} \end{eqnarray*}

ユークリッド化した時空上での作用 I_{\mathrm{gravity}} は

(10)   \begin{eqnarray*} & \displaystyle I_{\mathrm{gravity}} = -\frac{1}{16 \pi} \int_{A} \sqrt{g}(R - 2 \Lambda) - \frac{1}{8 \pi} \int_{\partial A} \sqrt{h} K \\ & \displaystyle \hspace{-53pt} = \frac{n-1}{4} \int_{\gamma A} \sqrt{g} + \cdots \\ & \displaystyle \hspace{-45pt} = \frac{n-1}{4} \operatorname{Area}(\gamma_{A}) + \cdots \end{eqnarray*}

となるので，次のHubeny-Rangamani-Ryu-Takayanagi（HRRT）公式4S. Ryu and T. Takayanagi, “Holographic derivation of entanglement entropy from the anti–de sitter space/conformal field theory correspondence”, Physical review letters 96 (18), 181602 (2006).5V. E. Hubeny, M. Rangamani and T. Takayanagi, “A Covariant holographic entanglement
entropy proposal”, JHEP 07 062 (2007).が導かれる．

(11)   \begin{eqnarray*} & \displaystyle S_{\mathrm{HRRT}}(A) = -\left. \frac{\partial}{\partial n} \ln{Z_{\mathrm{gravity}}} \right|_{n=1} \\ & \displaystyle \hspace{3pt} = \frac{\operatorname{Area}(\gamma_{A})}{4} \end{eqnarray*}

エンタングルメントエントロピーによるBH公式の一般化．

２. 機械学習の熱力学？

深層学習を含む様々な機械学習アルゴリズムが，マルコフ確率場の枠組み＝場の量子論の枠組みで記述できることを紹介する．その後，機械学習のホログラフィー原理を使って，機械学習の場の量子論から古典的な時空を創発させる．このときあらわれる古典時空の熱力学が，機械学習の熱力学になる．

２−１. 機械学習の場の量子論


最近，場の量子論で記述されるダイナミクスを使って推論や学習を行うことができるということがわかってきた6D. Bachtis, G. Aarts and B. Lucini, “Quantum field-theoretic machine learning”, Phys. Rev. D 103, 074510 (2021).．具体的には，\phi^{4}-スカラー場の理論が Hammersley-Clifford 定理を満たすことがわかるので，深層学習を含む様々な機械学習アルゴリズムをマルコフ確率場の枠組みの中で再構成できる．

\phi^{4}-スカラー場のラグランジアン

(12)   \begin{eqnarray*} & \displaystyle \mathcal{L}_{E}=\frac{\kappa}{2}(\nabla \phi)^{2}+\frac{\mu_{0}^{2}}{2} \phi^{2}+\frac{\lambda}{4} \phi^{4} \end{eqnarray*}

格子上の作用

(13)   \begin{eqnarray*} & \displaystyle I_{E}=-\kappa_{L} \sum_{\langle i j\rangle} \phi_{i} \phi_{j}+\frac{\left(\mu_{L}^{2}+4 \kappa_{L}\right)}{2} \sum_{i} \phi_{i}^{2}+\frac{\lambda_{L}}{4} \sum_{i} \phi_{i}^{4} \end{eqnarray*}

非等方\phi^{4}-スカラー場の作用

(14)   \begin{eqnarray*} & \displaystyle I(\phi ; \theta)=-\sum_{\langle i j\rangle} w_{i j} \phi_{i} \phi_{j}+\sum_{i} a_{i} \phi_{i}^{2}+\sum_{i} b_{i} \phi_{i}^{4} \end{eqnarray*}

ポテンシャル関数

(15)   \begin{eqnarray*} & \displaystyle \psi_{c} = \exp \left[-w_{i j} \phi_{i} \phi_{j}+\frac{1}{4}\left(a_{i} \phi_{i}^{2}+a_{j} \phi_{j}^{2}+b_{i} \phi_{i}^{4}+b_{j} \phi_{j}^{4}\right)\right] \end{eqnarray*}

\phi^{4}-スカラー場の理論はマルコフ性を満たす．

(16)   \begin{eqnarray*} & \displaystyle p(\phi ; \theta) = \frac{\exp \left[\sum_{c \in C} \ln \psi_{c}(\phi)\right]}{\int_{\boldsymbol{\phi}} \exp \left[\sum_{c \in C} \ln \psi_{c}(\boldsymbol{\phi})\right] d \boldsymbol{\phi}}=\frac{1}{Z} \prod_{c \in C} \psi_{c}(\phi) \end{eqnarray*}

真のモデル q(\phi) = \frac{\exp [-\mathcal{A}]}{Z_{\mathcal{A}}} とのKL-ダイバージェンス

(17)   \begin{eqnarray*} & \displaystyle D_{\mathrm{KL}}\left(p \| q\right) = \int_{-\infty}^{\infty} p(\boldsymbol{\phi} ; \theta) \ln \frac{p(\boldsymbol{\phi} ; \theta)}{q(\boldsymbol{\phi})} d \boldsymbol{\phi} \geq 0 \end{eqnarray*}

変分ベイズ自由エネルギー \mathcal{F}

(18)   \begin{eqnarray*} & \displaystyle F_{\mathcal{A}} \leq\langle\mathcal{A} - I\rangle_{p(\phi ; \theta)}+F \equiv \mathcal{F} \end{eqnarray*}

ただし，F_{\mathcal{A}}=-\ln Z_{\mathcal{A}}，F=-\ln Z

２−２. 機械学習の熱力学


ヒントン場が共形不変性をもつ場合について，ヒントン場を重力理論で記述されるバルク時空の境界に対応する量子多体系とみなし，バルク／境界対応 Z_{\mathrm{gravity}} = Z_{\mathrm{CFT}} からヒントン場の分配関数 Z_{\mathrm{gravity}} を計算する．このときあらわれるバルク時空をヒントン時空と呼ぶ．

ヒントン時空上のSchwarzschildブラックホールの計量

(19)   \begin{eqnarray*} & \displaystyle ds^{2} = \frac{R^{2}}{z^2}\left( -f(z)dt^2 + \frac{dz^{2}}{f(z)} + \sum^{d}_{i=1}dx^{2}_{i} \right) \\ & \displaystyle \hspace{-106pt} f(z) = 1 - \left( \frac{z}{z_{\mathrm{H}}} \right)^{d+1} \end{eqnarray*}

１−３. の手順に従ってヒントン場のエンタングルメントエントロピーを次のように導出する．

(20)   \begin{eqnarray*} & \displaystyle S_{\mathrm{H}}(A) = \frac{\operatorname{Area}(\gamma_{A})}{4} = \begin{cases} \frac{R^{d} L^{d-1}}{4} \int_{-\frac{l}{2}}^{\frac{l}{2}} d x \frac{\sqrt{1+\left(\frac{d z}{d x}\right)^{2}}}{z^{d}} & \text { $A_{\mathrm{S}}$: straight belt type } \\ \frac{R^{d} \cdot \operatorname{Vol}\left(\mathbf{S}^{d-1}\right)}{4} \cdot \int_{0}^{l} d r r^{d-1} \frac{\sqrt{1+\left(\frac{d z}{d r}\right)^{2}}}{z^{d}} & \text {$A_{\mathrm{D}}$: disk type } \end{cases} \end{eqnarray*}

ただし，\operatorname{Vol}\left(\mathbf{S}^{d-1}\right) = 2 \cdot \frac{\pi^{\frac{d}{2}}}{\Gamma\left(\frac{d}{2}\right)} は単位 d-1 次元球の体積．

相対エントロピー

(21)   \begin{eqnarray*} & \displaystyle S\left(\rho_{1} \mid \rho_{0}\right) = \operatorname{Tr}\left[\rho_{1} \log \rho_{1}\right]-\operatorname{Tr}\left[\rho_{1} \log \rho_{0}\right] \geq 0 \end{eqnarray*}

\rho_{0} を熱平衡状態のカノニカル分布の密度行列

(22)   \begin{eqnarray*} & \displaystyle \rho_{0} = \frac{e^{-H / T}}{\operatorname{Tr}\left[e^{-H / T}\right]} \end{eqnarray*}

とし，\rho_{1} を一般の非平衡状態の密度行列とすると

(23)   \begin{eqnarray*} & \displaystyle S\left(\rho_{1} \mid \rho_{0}\right) = \beta\left(F\left(\rho_{1}\right)-F\left(\rho_{0}\right)\right) \geq 0 \end{eqnarray*}

ただし，F(\rho) = E(\rho)-T S(\rho)=\operatorname{Tr}[H \rho]+T \operatorname{Tr}[\rho \log \rho] ．今度は全系が基底状態にあるときの部分系の密度行列 \rho_{\mathrm{A}} = e^{-H_{\mathrm{A}}} と全系が任意の励起状態にあるときの部分系の密度行列 \rho_{\mathrm{A}}^{\prime} を考えると

(24)   \begin{eqnarray*} & \displaystyle S\left(\rho_{\mathrm{A}}^{\prime} \mid \rho_{\mathrm{A}}\right) = \Delta\left\langle H_{\mathrm{A}}\right\rangle - \Delta S_{\mathrm{A}} \geq 0 \end{eqnarray*}

ただし，\Delta\left\langle H_{\mathrm{A}}\right\rangle = \operatorname{Tr}\left[H_{\mathrm{A}} \rho_{\mathrm{A}}^{\prime}\right] - \operatorname{Tr}\left[H_{\mathrm{A}} \rho_{\mathrm{A}}\right] ．

エンタングルメント熱力学（機械学習の熱力学）の導出（エンタングルメント熱力学第１法則）

(25)   \begin{eqnarray*} & \displaystyle \Delta S_{\mathrm{A}} = \Delta \left\langle H_{\mathrm{A}} \right\rangle \\ & \displaystyle \hspace{16pt} = \frac{\Delta E_{\mathrm{A}}}{T_{\mathrm{ent}}} \end{eqnarray*}

Appendix.

もう一つの機械学習の場の量子論．

３−１. 深層学習の場の量子論


画像や時系列などの連続的な入力信号は，不規則にサンプリングされていたり，値が欠損していたりするため，既存の深層学習モデルの適用が難しい場合がある．こうした問題に対処するため，特徴量をガウス過程（\mathcal{GP}）として表現し，離散化誤差を確率的に記述する「確率的数値計算畳み込みニューラルネットワーク（PNCNN）」が提案された7M. Finzi, R. Bondesan and M. Welling, “Probabilistic Numeric Convolutional Neural Networks” (2020)．このPNCNNを量子ニューラルネットに拡張し，深層学習が場の量子論になる例8R. Bondesan and M. Welling, “The Hintons in your Neural Network: a Quantum Field Theory View of Deep Learning”, Proceedings of the 38th International Conference on Machine Learning, PMLR 139:1038-1048 (2021).を紹介する．

ここでは入力信号を \mathcal{D}=\left\{\left(x_{i}, y_{i}\right)\right\}_{i=1}^{N} とし，各位置 x_{i} \in \mathcal{X} に対応する輝度 y_{i} を持つ有限グリッドの画像のようなデータ \mathcal{X}=\{1, \ldots, l\}^{\times d} を想定する．この離散的な入力信号を連続的な信号の確率場 \varphi: \mathcal{X} \rightarrow \mathbb{R} で補完し，それぞれの画像が持つラベルを予測するタスクを考える．また，入力信号の各位置に対応する信号 \varphi_{x} を集めたベクトルを \boldsymbol{\varphi} とあらわすことにする．ここで入力信号をガウス過程 \boldsymbol{\varphi}^{(1)} \sim \mathcal{GP}\left(\mu^{\prime}, k^{\prime}\right) でエンコードしたとき，中間層の信号が

(26)   \begin{eqnarray*} & \displaystyle \boldsymbol{\varphi}^{(\ell+1)}=\sigma\left(\mathcal{B}^{(\ell)}\left(\mathcal{A}^{(\ell)} \boldsymbol{\varphi}^{(\ell)}\right)\right) \end{eqnarray*}

で与えられる確率的ニューラルネットを考える．ただし，\sigma は信号の非線形変換，\mathcal{B} は信号にバイアスを加える操作，\mathcal{A} は信号の線形変換をあらわしている．また，このモデルでは最終層の手前で１度だけプーリング操作 \boldsymbol{\varphi}^{(L+1)}=\mathcal{P} \boldsymbol{\varphi}^{(L)}

(27)   \begin{eqnarray*} & \displaystyle (\mathcal{P} \boldsymbol{\varphi})_{a, x}= \begin{cases}\frac{1}{|\mathcal{X}|} \sum_{x \in \mathcal{X}} \varphi_{a, x} & \text { first element } \\ \varphi_{a, x} & \text { else }\end{cases} \end{eqnarray*}

を行う（添字の a は画像のカラーチャンネルをあらわしている）．このときバイアスと線形変換の部分を \mathcal{L}=\mathcal{B} \circ \mathcal{A} と書くことにすると，この確率的ニューラルネット（PNCNN）が行う操作をまとめて

(28)   \begin{eqnarray*} & \displaystyle \Phi=\mathcal{L}^{(L)} \circ \mathcal{P} \circ \sigma \circ \mathcal{L}^{(L-1)} \circ \cdots \sigma \circ \mathcal{L}^{(0)} \end{eqnarray*}

とあらわすことができる．この一連のプロセスを量子化する．つまり，PNCNNを量子ニューラルネットに拡張する．これは(5)式を，ユニタリー演算子の積

(29)   \begin{eqnarray*} & \displaystyle \widehat{U}_{\mathrm{NN}} = \widehat{U}_{\operatorname{lin}}\left(\boldsymbol{\xi}^{(L)}, S^{(L)}\right) \widehat{U}_{\mathcal{P}} \prod_{\ell=0}^{L-1} \widehat{U}_{\sigma} \widehat{U}_{\text {lin }}\left(\boldsymbol{\xi}^{(\ell)}, S^{(\ell)}\right) \end{eqnarray*}

で書き直すことに対応する．このときあらわれる量子化された信号の確率場（量子場）\widehat{\boldsymbol{\varphi}} をヒントン場と呼ぶ．(6)式のユニタリー演算子で時間発展させて期待値をとれば，画像のラベル c=1, \ldots, C に応じた出力信号（予測ラベル）を得ることができる．

(30)   \begin{eqnarray*} & \displaystyle l_{c} = \left\langle\zeta_{\mathcal{D}}\left|\widehat{U}_{\mathrm{NN}}^{\dagger} \widehat{\varphi}_{c} \widehat{U}_{\mathrm{NN}}\right| \zeta_{\mathcal{D}}\right\rangle \end{eqnarray*}

また，古典的なPNCNNがきちんとこの量子ニューラルネットに含まれていることも確認できる．

(31)   \begin{eqnarray*} & \displaystyle \left|\left\langle\boldsymbol{\varphi}\left|\widehat{U}_{\mathrm{NN}}\right| \zeta_{\mathcal{D}}\right\rangle\right|^{2}=\left(\Phi \# \mathcal{G} \mathcal{P}\left(\mu^{\prime}, k^{\prime}\right)\right)(\boldsymbol{\varphi}) \end{eqnarray*}

ヒントン場の生成消滅演算子は以下で与えられる．

(32)   \begin{eqnarray*} & \displaystyle \widehat{\boldsymbol{b}}=\frac{1}{\sqrt{2}}(\widehat{\boldsymbol{\varphi}}+i \widehat{\boldsymbol{\pi}}), \ \ \widehat{\boldsymbol{b}}^{\dagger}=\frac{1}{\sqrt{2}}(\widehat{\boldsymbol{\varphi}}-i \widehat{\boldsymbol{\pi}}) \end{eqnarray*}

基底状態として平均が 0・単位共分散のガウス状態 |\Omega\rangle=|0, \mathbf{1}\rangle を仮定すると \widehat{\boldsymbol{b}}|\Omega\rangle=0 ，また \left(\widehat{b}_{a_{1}, x_{1}}^{\dagger}\right)^{n_{i}} \cdots\left(\widehat{b}_{a_{m}, x_{m}}^{\dagger}\right)^{n_{m}} |\Omega\rangle でカラーチャンネル a_{i}の画像の位置 x_{i} に n_{i} 個のヒントン粒子を生成する．

全系のハミルトニアンは次のように書ける．

(33)   \begin{eqnarray*} & \displaystyle \widehat{H}_{\mathrm{NN}} = i \left(\frac{d}{d t} \widehat{U}_{\mathrm{NN}}\right) \widehat{U}^{\dagger}_{\mathrm{NN}} \end{eqnarray*}

実は，２−１. の場の量子論と３−１. の場の量子論は関係がある．

  • 1
    K. Hashimoto, S. Sugishita, A. Tanaka and A. Tomiya, “Deep learning and the AdS/CFT correspondence”, Phys. Rev. D 98, 046019 (2018)
  • 2
    J. D. Bekenstein, “Black holes and entropy”, Physical Review D. 7 (8): 2333–2346 (1973).
  • 3
    S. W. Hawking, “Black hole explosions?”, Nature, 248, 30 (1974).
  • 4
    S. Ryu and T. Takayanagi, “Holographic derivation of entanglement entropy from the anti–de sitter space/conformal field theory correspondence”, Physical review letters 96 (18), 181602 (2006).
  • 5
    V. E. Hubeny, M. Rangamani and T. Takayanagi, “A Covariant holographic entanglement
    entropy proposal”, JHEP 07 062 (2007).
  • 6
    D. Bachtis, G. Aarts and B. Lucini, “Quantum field-theoretic machine learning”, Phys. Rev. D 103, 074510 (2021).
  • 7
    M. Finzi, R. Bondesan and M. Welling, “Probabilistic Numeric Convolutional Neural Networks” (2020)
  • 8
    R. Bondesan and M. Welling, “The Hintons in your Neural Network: a Quantum Field Theory View of Deep Learning”, Proceedings of the 38th International Conference on Machine Learning, PMLR 139:1038-1048 (2021).

コメントを残す