Download(PostScript)


川村正樹 & 岡田 真人

日本物理学会 秋の分科会, Vol.53, Issue 2, Part 3, pp.752

相関型連想記憶モデルのダイナミクスの性質

On-line学習では,ネットワークの状態が不安定平衡点に近付いた後に,安定 平衡点に向かう現象がしばしばみられる. 本研究では,相関型連想記憶モデルの想起ダイナミクスを調べ,相関学習にお いても不安定平衡点に近付く性質が現れるかを系列想起及び自己想起の場合に ついて検証した. 連想記憶モデルの想起ダイナミクスは 統計神経力学を用いて,いくつかのオー ダパラメータで記述することができる. そこで,オーバラップ $m^{\mu}_t$とクロストークノイズの分散 $r_t$を用い て,ネットワークの状態遷移を調べた.

本研究では,離散時間同期型ダイナミクスを用い,$\alpha N$個のパターン $\vec{\xi}^{\mu}$の系列想起または自己想起を行なう場合を考える. ただし,パターンの各成分 $\xi^{\mu}_i$は確率 $1/2$で $\pm1$の値を取る ものとする. 図に系列想起と自己想起の想起過程を示す. ただし,系列想起の場合では異なる $m^{\mu}_t$を同一平面上に描いているこ とに注意する. 実線は統計神経力学による結果であり,1点鎖線はシミュレーション結果 ($N=50000$)を表す. 系列想起の場合では不安定な定常状態と安定な定常状態が存在し,不安定な定 常状態を境界として,想起が成功するか失敗するかが決定されることがわかる. 鞍点方程式は $\alpha<0.138$で $m\neq0$の解を2つ持ち,1つは想起状態を表 す $m\simeq1$の安定解であり,もう1つは不安定解である. 図より鞍点方程式の不安定解はこの不安定な定常状態に一致することがわかる. 一方,自己想起の場合では厳密には一致していない. これは統計神経力学におけるクロストークノイズの近似の扱いが原因であると 考えられる. しかしながら,近似的には不安定平衡点に近付いた後に,安定平衡点へ向かう ことがわかる. シミュレーション結果と比較すると,理論では引き込み領域がわずかに小さく なっている.

図より,同期型のダイナミクスにおいても CS理論で示された freezing line のようなものがあることが推測される. 系列想起では,はじめの1ステップでこの線に乗り,その後この線上を遷移す ることがわかる. また,自己想起では初期において急速に接近し,その後漸近することがわかる. 破線は CS理論より得られた freezing lineであり,不安定平衡点は freezing line上にある. 本来,CS理論は非同期型ダイナミクスの理論であるため,同期型ダイナミクス の結果と必ずしも一致するとは限らない. しかしながら,想起が成功する場合においては,統計神経力学より得られる想 起過程は freezing lineに漸近することがわかる.


M. Kawamura & M. Okada

Meeting Abstracts of the Physical Society of Japan, Vol. 53, Issue 2, Part 3, pp.752, 1998-09

Recall Dynamics of Correlation-type Associative Memory Models


kawamura@ic.sci.yamaguchi-u.ac.jp
Last modified: Sun Nov 7 17:41:53 JST 1999