来週、2月11日に「EyeToy:Play」が発売される。 EyeToy:PlayはPlayStation2用のソフトウェア(※USBカメラ付き)で、 専用のUSBカメラを使った今までにないアミューズメントを体験できる。 私も画像処理を応用した製品開発に携わる研究者の一員として、 EyeToy:Playには非常に強い興味を感じている。 ぜひともひとつEyeToy:Playを入手し、積極的に評価して(遊んで?)みたいものだ。

リアルタイム画像処理の面白さ

はじめに、 画像処理技術の面白さのひとつとして、 画像処理アルゴリズムの過程や結果を視覚的に確認できることを指摘しておこう。

PhotoShop やGIMPのようなフォトレタッチソフトウェアで、 デジタル写真データを加工する作業も代表的な画像処理のひとつ。 フォトレタッチは静止(スチル)画像処理だが、 連続する時系列画像に対して何らかの処理を加える操作が動画像処理であり、 さらにリアルタイムで実時間処理を行なう動画像処理がリアルタイム画像処理だ。

目の前で起こっている情景をカメラが切り取り、 画像処理装置を通すと全く違った風景が創り出される。 リアルタイム画像処理は、そんなマジックを可能にする。 リアルタイム画像処理装置には、 パラレルワールドを生み出す魔法の箱の楽しさがある。

EyeToy:Playの楽しさの原点はまさにそこにあるのではないか。

EffecTVで遊ぼう

さてEyeToy:Playが未発売のいま、 遊べるソフトウェアのひとつにEffecTVがある。 EffecTVはLinuxで動作するリアルタイム画像イフェクト(特殊効果)ソフトウェアで、 Linux PCに接続されたカメラからの画像に様々な特殊効果を与えることができるユニークなソフトウェアである。

EffecTVにはどんなイフェクトが用意されていて、 どのような面白い特殊効果で遊べるかはEffecTVのサイトでチェックしていただくとして、 ここではひとつだけ、 つい先日公開された最新版に追加された 「カメレオンTV」 の プロモーションビデオ (mpeg)を紹介しよう。

背後から現われた男が一人。 壁に張り付いて静止すると、やがてジワジワと染み込んで消えてゆく。 子供の頃に憧れた特撮映画の気分を自宅で簡単に味わう、 その雰囲気を感じていただけるだろうか。

手作りの面白さ

この「カメレオンTV」の処理は背景差分と過去数枚のフレーム情報を組み合わせて実現している。 実は計算の核となるソースコードの行数もそれほど長くはなく、 複雑な計算をしているわけではない。 簡単な計算で奇抜な効果を演出している面白さがここにある。 他にもEffecTVには多くのイフェクトがあり、その多くは単純なアルゴリズムで実現されている。

もちろん潤沢な資金と膨大な時間をかけてハリウッドで創られる特殊効果(SFX, Special Effects)と比べれば、これらはチープなイフェクトである。 しかしEffecTVの強みは全てオープンソースソフトウェアとして公開されている点にある。 多少のプログラミング知識さえあれば、 自分が考えた手作りイフェクトをすぐに試してみることができるのだ。

手前味噌ながら、EffecTVが提供するイフェクト群のうち 「ブロークンTV」 と 「ウォーホルTV」 は拙作である。 改善の余地はまだ残されているので、 我こそはと思しき方はぜひとも改良にチャレンジしていただきたい。

なおEffecTVには PlayStation2用のLinux でも動作するパッケージが用意されている。 PS2のLinuxユーザで、かつEyeToy:Playを待ちきれない人も要チェックだ。

これからどうなる?

先にも述べたように、 これらのイフェクトは比較的単純な計算処理で実現されている。 だからこそ実時間で面白い効果を実現できているともいえる。

一方で画像認識技術の研究開発も活発に行なわれており、 優れた認識アルゴリズムが日々提案されている。 これらの画像認識技術は一般に複雑な計算を必要とすることが多いが、 CPUの計算能力も爆発的に伸びている今、 高度な画像認識が実時間で処理できるようになる日も遠くはないだろう。

その先には、手を差し伸べると手の上に何かが乗ったり、 仮想物体を手で掴めたりするような、 仮想世界と現実世界が混在したなかでのコミュニケーションが成立する複合現実の世界が拡がっているのである。

ところで、世界には同じようなことを考える開発者も多く、 EffecTVに類似のリアルタイム画像処理ソフトウェア は他にもいくつか存在する。 昨年の11月にはこれらのソフトウェアの開発者が一同に会し、 情報を交換するととともに共通APIを策定する議論を行なうためのワークショップ 「p1k53l」がノルウェーのベルゲンで開催された。

p1k53lにはEffecTVプロジェクトのリーダである福地氏も参加している。 私は残念ながら都合により参加できなかったが、 ワークショップでは活発な意見交換が為されたとのこと。 世界中の関係者が協力してプロジェクトを進めることによって、 これからのこの分野のいっそうの発展が期待されるところである。