FutureInsight.info

AI、ビッグデータ、ライフサイエンス、テクノロジービッグプレイヤーの動向、これからの働き方などの「未来」に注目して考察するブログです。

Neural Network Dynamics:イントロダクション

学校からアクセスしなくてもGoogle Scholarで検索すると、簡単にpdfがおいてあるところが判明します。(実際、ほとんどの論文ではそうです)
著作権的にはアウトなのですが、まぁ、Google Scholarで検索すればわかることなので、リンク先だけのっけます。
http://www.brandeis.edu/projects/abbottlab/papers/Vogels_Rajan_Abbott.pdf

良質のレビューな匂いがぷんぷんする。問題設定がおもしろいし、引用している文献も最新な知見を網羅している。今日から、残り三回にわけて、

  • (a) sustained responses to transient stimuli, which provide a model of working memory

一時的な刺激に対して継続して応答が続くこと、これは一時的なメモリのモデルとなる

  • (b) oscillatory network activity

振動を生み出すネットワーク作用、つまり、活性化と抑制によってシステムが自発的に振動を繰り返す

  • (c) chaotic activity

カオス的な作用

これらにに関する、詳細にふれるが、今日はイントロダクションにおける問題設定をまとめます。

このReviewの目的はニューラルネットワークのダイナミクスを説明する数理モデルを提唱し、シミュレーションを通して、それが実際と一致する挙動を再現可能かを検証するためのものである。そのためには、上の3つの方法論が重要であると述べているが、まず、再現したい現象を以下のように述べている。

Sparsely connected networks of spiking model neurons can generate what looks like random, noisy activity without the need for any external source of randomness.
[適当な和訳]発火モデル(これは明日、説明します)型ニューロンの疎な結合によって構築されたネットワークは一見、ランダムでノイズにあふれた活性を全く外部からのランダムな影響の必要性なく生成可能である。

まず、これを説明できるモデルを提唱することが、このReviewの目的である。

複雑で、制御されたパターンをニューラルネットワークがどうやって創り出すかを説明するためには、上のモデルはそこまで重要ではないと考えられがちだが、インプットされる情報に対して、高い感受性を達成するためには、上のように構築されたネットワークを通し生まれる活性が重要となってくる。つまり、このReviewでは、実際のinputに対する感受性を達成するためには、上で提唱したモデルが必要不可欠であることを示したい。

ネットワークにおける感受性とは、つまりインプットされた情報がどのようにニューロン間を伝達するかを考えることである。インプットされた情報は、ニューロンの活性となるのだが、ニューラルネットワークでのシグナルの伝達は2つの不安定性の基になるものが存在しているため、ニューロン間の情報の伝達が難しい。

ます、インプットされたパルスの振幅が、一つのグループから、違うグループのニューロンに引き渡されるとき、のびたり縮んだりする問題である。正確な振幅を維持するためには、目標までパルスを伝達する間、そういうのが起きるのを防がなければならない。*1
もう一つが、ニューラルネットワークにおいて、パルスの伝達が現実的には引き起こされない大規模なニューロンの発火を引き起こしてしまう問題である。*2

これらを避けるために、内因性のノイズが重要らしい。そんなわけで、明日はなぜ、これらを避けるために内因性ノイズが重要であるかを説明します。

結構、おもしろいReviewですが、専門外なことが多く、すこし苦戦しそうです。あと、数式をどうやって載せたらいいものか、考え中です。、、、と思ってたら、なんとはてなではlatexの数式がそのまま使えるらしい。これはすごい、はてなすごい。そんなわけで、数式も簡単に載っけられます。

*1:詳細な説明は、以下の論文をを参照とのこと。時間を見つけてこいつも読みます。
The Journal of Neuroscience, December 3, 2003, 23(35):11167-11177
Neuronal Avalanches in Neocortical Circuits
John M. Beggs and Dietmar Plenz
http://www.jneurosci.org/cgi/content/full/23/35/11167

*2:詳細な説明は、以下の論文をを参照とのこと。こっちも無料です。
The Journal of Neuroscience, April 1, 2003, 23(7):3006
On the Transmission of Rate Code in Long Feedforward Networks with Excitatory-Inhibitory Balance
Vladimir Litvak, Haim Sompolinsky, Idan Segev, and Moshe Abeles
http://www.jneurosci.org/cgi/content/full/23/7/3006