脳と視覚

乾敏郎「脳と視覚」という本を読んでいたのだが、眼球運動は固視と視点移動（サッケード）を繰り返していて、固視のうちの0.1秒くらいしかモノを見ていない。 それに続く0.2秒くらいはモノを見てないで、視点移動したりキャリブレーションしたり画像処理したりしている。 つまり人間の脳内実時間画像処理というのはせいぜい3fpsくらいしかない。 もしグラボと脳が完全に同期とれれば60fpsとか120fpsとか必要ない。 3fpsで描画しても認識には問題ないということになる。

盲点は見えない。 網膜上の血管も見えない。 サッケード中の動きボケ画像も見えない。 焦点を合わせている途中のピンボケ画像も見えない。 すべては無意識のうちにキャンセルされている。 最終的にできあがった画像だけを我々の「意識」は見ている。 しかし明らかに「無意識」はそれらの画像を見ているし、認識もしている。 「無意識」がどのくらい「没入感」や「臨場感」に影響を与えているだろうか。 「無意識」が距離や動きなどを認識しているのは明らかだ。

無意識がキャリブレーションできないで意識がソレを見ると3D酔いなどの現象になる。 無意識を欺けば錯視になる。 無意識を欺き続けると意識が混乱し脳は壊れるかもしれない。

このように視覚というものは非常に離散的なものなのだが、聴覚も同じらしい。 音は連続に聞こえているように思えるが、短期記憶に音声が「キャプチャ」されてフーリエ変換されて、重要性の順に並べ替えられてから認識されているらしい。

私らが普段見ている映像や音声というのはなめらかな連続したものに思われるのだが、空間や時間はなめらかで連続であるというのは我々が世界を認識する上での理論に過ぎず、認識プロセスそのものは離散的。 色や陰影なども脳の中で恣意的に着色されたものであり、まさに脳内CGと言った方が良い。 デジタルデバイスがアナログ電子信号を制御してデジタル化しているように、脳も有機物でできているが仕組みは完全にデジタルなものだといえる。 コンピュータビジョンに非常に近い。

脳内CGというのは当たらないかもしれない。 CGと違って我々が見ている映像には最初から色、明るさ、奥行き値や動き量、領域やエッジと言った付加情報がラベル付けされている。 目、鼻、口、知った顔知らない顔という属性が付加されている。 キャプチャに失敗した欠落情報は近傍から充填され補完されてあたかも欠落してないように見える。 いや、そもそも我々は何も見ていないのかもしれない。 それらの属性を認識しているだけなのかもしれない。 そもそも見ている我々とは何かとか。 意識とは何かとか、脳のどこの機能なのかとか。

要するに世の中にアナログ人間など存在しない。 人間であるからにはみんなデジタル。 神経系が分泌物（ホルモン）で制御されているようなそうとう下等な動物や、あるいは植物ならばともかく、たいていの動物はデジタル。 デジタル機械なのです。

音楽や会話もまた同じ。 連続音響も実時間で断片化されシンボルとして再構築される。

たとえば上で書いた3fpsというのが通常のクロック周波数として、緊急時には一時的に10fpsくらいにあがるかもしれない。 とすると時間の流れが遅く感じる現象も無理なく説明できる。 年をとるにしたがってクロックが遅くなれば、時間の過ぎるのが早く感じるかもしれない。

視覚が離散的でデジタルなものであるから錯視などの現象が起きる。 速読理論も人間のクロック周波数に合わせて視線の停留点を制御しようというものだろう。 クロック周波数を意識的に上げることができれば速読は可能だ。 あるいは停留している間に「静止画」としてどれだけ多くの活字を「キャプチャ」して、次の「キャプチャ」までにそれを脳内でどれくらい処理できるかということだろうな。

CGの理論って、10年後20年後には絶対こっちの方へ行くと思うんだが。