hirax.net::Keywords::「動画」のブログ

■微速度動画撮影アプリケーションに思うこと　

　iPhoneで微速度動画撮影を作り、テスト動画を撮影した時、こんなことを感じました。何かを測るためでなく、ただ娯楽のために微速度動画を撮影するアプリケーションを作るなら「撮影する動画の速度は、対象の動き・変化に応じたもの」にしなければならないのではないか、ということです。動いて行く対象物、あるいは色合いが変化する対象物、その動き・変化に応じて動画の時間ステップを速くしたり・遅くしたりしなければならなさそうだ、と思われたのです。

　たとえば、雲の速度を撮影開始時に知ることは（簡単には）できません。だから、青空と雲を撮影する時に、動画撮影速度を前もって決めるということは難しいのです。それは、人や乗り物などが動いて行くようすを撮影する場合も同じです。動画撮影速度は、ただひたすらに景色を眺め続けるカメラ自身が（完成された動画を眺める人の感覚を考えながら）決めるしかない、ように思われるのです。

　そしてまた、撮影動画の（時間方向の）画像スムーシングをさせようと考えた場合にも、その画像スムーシング処理は、対象物の変化に応じたスケールで行うことが必要になります。けれど、その時間方向スムーシングに関するスケールは前もって決めることはできず、対象物を眺めながら動的に決めるか、適切ではないスムーシング処理をかけるか、という２択になるように思われるのです。

　ところで、iPhoneを買ったのは「自分でプログラミングすることで機能を増やすことができて、なおかつ、ネット接続ができるカメラが欲しくて」、そんな候補の中のひとつとしてiPhoneを選びました。iPhoneに限らず「こんな機能のカメラがあったら良いな」というものがあったら、教えて頂ければうれしいなと思います。それが作れるものであれば、ぜひともカタチにしてみたい、のです。

■微速度動画で眺める「青空と雲群」　

　「iPhoneで微速度動画を撮影するアプリケーションを作ってみた」ので、空に浮かぶ雲や、雲の切れ間から太陽の光に照らされる街並みを２時間ばかり撮影してみました。小高い場所に、空を見上げるようにiPhoneを固定して、景色が変わって行くさまを撮影してみたのです。カメラの横で空を眺めていても、雲はただ空に張り付いているようにしか見えなかったのに、カメラロールに保存された動画を眺めてみると、頭の上にある雲と青空が駆け足で動いて行くようすが、その理屈をたとえわかっていたとしても、魅力的で不思議に感じられます。

　こんなにも速い速度で雲や空、つまり、「天気」は動いていたのです。機械の目で見て初めて、そんなことを実感することができるのです。

　日本の空は偏西風に支配されています。西の空から東の空におよそ時速40km程度の風が吹き、雲もそして天気も、空に浮かぶものたちは、その速度で移ろって行くのです。

「虹のトンネル」を時速40kmで追いかける。

　自分の目で眺めることはできないけれど、「地球は回ってる」そんな景色を、機械や頭を通してようやく私たちは簡単に見ることができるのです。

■iPhone リアルタイム動画像処理コーディング　

　自分が欲しいと思えるデジタルカメラが欲しくて、iPhoneプログラミングの勉強がてらiPhoneで動画像処理を行うプログラムのスケルトンを作ってみました。そんな「1.カメラ映像→（電子ズーム使用時は解像度変換）→2.OpenCVを使った画像処理→3.処理動画保存→4.画面描画」という処理を行わせるコードを書くときにメモしたことを、忘れないように書いておきます。

　特に時間のかかる画像処理を行うのでなければ、AVCaptureSessionPreset640x480、つまり、VGA(640x480)の撮影でも15FPS弱で処理をさせることができます。それを逆に言えば、iPhone4では、リアルタイムVGA動画処理＆ファイル保存を15FPSで処理しようと思うと「機械の気持ちにならないとダメ」という感触です（動画保存処理を同時にさせるのでなければ、処理落ちはしないと思います）。

　何より一番処理に時間がかかるのは、「3.処理動画保存」の部分でした。この部分は「コードを変えることで処理速度を改善させる」ということがなかなかできないようなので（速く処理を行わせる方法があれば知りたいです）、もしも処理動画をスムースに保存させようと思うなら、それ以外の部分を「機械の気持ち」に沿って地道なダイエットをしないといけないように思われます。

　「2.画像処理」部分（とその前段）で「電子ズーム＋色変換」を実装＆動画保存させてみたのが、下の動画になります(撮影された動画を眺めてみると、「解像度変換・切り出し」における”中央部での丸め処理”が上手くないようですね)。「機械の気持ち」がわかり、自然に話すことができるようになるまでには、まだまだずいぶんと距離がありそうです。

　（「テストチャート」のページを映し出しているコンピュータ画面を撮影した動画です）

■飛行機の下の景色を「微速度動画」で立体的に眺める　

　飛行機に乗ると、窓の下に浮かぶ雲や島や街をずっと眺めてしまいます。誰かがどこかで撮影した、そんな瞬間を思い出させる動画を眺めました。それが、下に貼付けた動画です。飛行機に乗りながら撮った何枚もの写真を集めて作った動画のようです。

　こんな動画を眺める時には、プルフリッヒ効果を活用して立体的な映像として眺めたくなります。プルフリッヒ効果は、輝度による知覚の時間差により、動画中の横方向に移動する物体が（その動く方向にしたがって）近くに感じられたり・遠くに感じられたりするという現象です。

　下の動画を右目だけサングラスをかけた状態で眺めると、飛行機の翼の下にある景色が、とても立体的に見えてきます。できれば、ディスプレイを斜めに傾けて、暗い部屋で動画を全画面表示で眺めてみたりすると、ディスプレイの下に、雲や山や街が凹凸を持って浮かび上がってきます。

■2011年03月8日から3月15日までの地震震源＆震度分布動画　

　2011年03月8日から一週間、3月15日23時までの「日本での地震震源＆震度分布動画」です。動画でいうと最後のフレームが、3月15日22時過ぎに富士宮近辺で起きた地震になります。日本列島周りのプレートは、一体どんな風に動き、そして歪みを受けているんでしょうか。