脳と情報の統計力学

Last-modified: 2010-05-07 (金) 14:58:06 (1442d)

リンク: 岡田研究室の研究紹介

統計力学は, 気体の分子の運動のようなミクロ記述とボイル=シャルルの法則のようなマクロ記述とをつなぐ学問です. 統計力学を学ぶと, 我々はミクロからマクロへつながる階層的な構造が自然界のいたるところに存在することを意識し, 物理学の枠組みを超えて統計力学が活躍できるような気がしてきます.

例えば, 脳や情報にもミクロとマクロの階層性が存在します. 脳にある百億以上の神経細胞の活動から, 我々の意識や感情が生じています. 0 と 1 のビットがある種のルールに従って並ぶと, そのビット系列は画像や音声などの意味ある情報になります.

これらを統計力学的に議論できる鍵はスピングラス・レプリカ法に代表されるランダムスピン系の統計力学にありました. ± 1 の二値状態を取る Ising スピンを脳の神経細胞の活動や情報のビットに対応させることで, 統計力学は脳の神経回路モデルや情報・通信理論の難問を次々に解き明かしていきました.

脳の統計力学

stat_brain.png

神経科学で行われていることを一枚の絵で表すと, 左図のようになります.

まず, 動物に刺激を与えたり, タスクを行わせる事で神経細胞の応答であるスパイクを計測します. その計測データからスパイクの一次統計量である発火率や, 相関関数などの二次以上の統計量を計算します. そして, 得られたスパイクの統計量が刺激やタスクに関係しているかどうかを相互情報量を計算して見極めます.

次に, 有意なスパイク統計量が, どのようなニューラルネットワークから生成されたかを推定します. 得られる統計量の数は, ニューラルネットワークの自由度に比べて著しく少ないため, この推定問題は逆問題になっており, 一般的には解けません. そこで順問題を解いておいて, それをもとに逆問題の解を推定する戦略をとることにします.

具体的には, まず解剖学的知見などからニューラルネットワークの構造を予測し, そのニューラルネットワークから, 典型的にどのようなスパイク統計量が出てくるかを, 理論もしくは計算機シミュレーションで計算します. これが順問題を解くことに相当します. 同様なことをいくつかの典型的なニューラルネットワークに関して行って得られたスパイク統計量のデータベースと実験から得られたスパイク統計量を比較することで, いま問題にしている領野のニューラルネットワークに関する情報が得られます. さらには, そこから解剖学的な構造を予測することにもつながります.

この順問題と逆問題のループを回すには, 統計力学や非線形動力学の手法や知見が必要不可欠となります. さらに, 統計量や相互情報量の計算には, 情報統計力学的手法が有効であることが分かっています. つまり図中のスパイクデータの計測以外のすべての部分で, 物理学的な手法や考え方が必要不可欠となるのです.

情報統計力学

ボルツマン分布とベイズ統計の等価性にもとづくスピン系と情報科学の接点を契機に, スピン系で培われた豊富な蓄積が, 情報科学へ技術輸出することが可能となり, 統計力学は情報科学の分野では必要不可欠な手法の一つとなりつつあります. 今や情報の統計力学は情報統計力学という一学問分野に成熟したと考えてもよいでしょう.

下図は, 情報統計力学で取り扱う内容を1 枚の絵にしたものです. これで全てではありませんが, 情報統計力学で取り扱う内容の関係性をほぼ描けていると思います.

stat_info.png

強磁性体やスピングラスのモデルの解析手法がすべてのモデルに対する基礎になっていて, Hopfield によって提案されたモデルがスピン系と情報科学の出会いのきっかけといえます. Sourlas の提案により Hopfield モデルは誤り訂正符号に発展し, それは情報理論の最先端である低密度パリティ検査符号 (LDPC) を取り扱うところまで発展しました. 誤り訂正符号と歪有データ圧縮の双対性から希釈 Sourlas 符号の知見を用いて, 歪有データ圧縮に関してもレプリカ解析が行われました. 神経回路モデルのパーセプトロンの記憶容量の統計力学的な解析は Gardner によってなされ, パーセプトロンの学習理論, パーセプトロンを用いた歪ありデータ圧縮の研究にも発展しています. 携帯電話に用いられている CDMA は Hopfield モデルとパーセプトロンの学習理論の豊かな接点と考えられます.

狭い視点で既存の分野の中で閉じこもっていては, このような成果は決して得られなかったはずです.

適用例

連想記憶モデル

脳の統計力学は Hopfield によって始まったといっても過言ではありません.

Hopfield は 1982 年に "Neural networks and physical systems with emergent collective computational abilities." という魅力的な題名の論文で, 一見何も関係ないと思われるスピングラスに代表されるランダムスピン系と, 脳の神経回路網 (ニューラルネットワーク) とが深く関係していると主張しました.

Hopfield が提案したモデルは連想記憶モデルと呼ばれるのモデルの一群に属しています. 連想記憶モデルは, 記憶をつかさどる海馬の CA3 回路 やパターン認識をつかさどる高次視覚野との関連が指摘されています.

Hopfield はシミュレーションを用いて, 連想記憶モデルの記憶容量を議論し, さらに連想記憶モデルはスピングラスの一種であると指摘しました. この指摘が, ランダムスピン系と脳科学の邂逅となったのです.

a01-2p.gif

右は, 連想記憶モデルのランダムスピン系のスピンの状態を 2 値画像として表した時に, 元画像が系に記憶されているパターン画像に近づいていくアニメーションです. これは, ランダムスピン系のダイナミクスで部分的な記憶を修復できたと解釈できます.

誤り訂正符号

デジタル情報の伝送において, 通信路にはかならずノイズが存在します. たとえば 0 と 1 のデジタル情報をノイジーな通信路で伝送すると, 0 が 1 に反転したり, その逆が起こります.

このような通信路での誤りを訂正するには, 送りたい情報をそのまま送るのではなく, 誤りを訂正できるように情報を変換して送る必要があります (符号化.) そして, 受信者は, 誤りを含んだ受信信号から誤りを除去するとともに, 符号化の逆のプロセスで元の情報を復元しなければなりません (復号化). このように情報を符号化して, 誤りのある通信路に対処する枠組みが誤り訂正符号です.

情報理論の観点から連想記憶モデルを見ると, 連想記憶モデルは誤り訂正符号の一種と考えることができます. 脳の記憶モデルが情報理論の誤り訂正符号になっているのは, とても興味深いことです.

さらに詳しく知りたい方へ

以上のことを数式をまじえて丁寧に解説した資料を添付します.

岡田研究室ではまず初めに, この資料に書かれたようなことを輪講などを通して OJT (On the Job Training) していきます.