来年初頭、「Lytro Camera」という画期的なカメラが米国Lytro社より発売される。日本では「ピンぼけがなくなるカメラ」として紹介する記事が目立つが、筆者は「夢のテレビ」に近づく第一歩として注目している。
光線空間を記録するLytro
従来のカメラではフィルムカメラであれデジタルカメラであれ、「色と明るさ」を記録する。これに対し、Lytroでは「色と明るさと方向」を記録する。光は直進することから、方向を記録することによって、視点の近辺でどのように光が飛び交っているのかを記録することができる。このように光線が飛び交う様子を光線空間(light field)と呼び、光線空間を扱う技術のことを光線空間法という。光線空間法により、従来のカメラでは実現出来なかった多くのことが可能になる。文字だけでは表現が難しいので光線空間の詳しい解説は こちらの記事をご覧いただきたい。
このサイトでは光線空間法の応用例として、
- 視点の変更
- 焦点ボケの合成
- 3Dへの対応
- 奥行き推定
- 前景抽出
- 超解像
注目すべきは「視点の変更」である。 光線空間を記録すると、移動範囲に制約があるものの、視点を移動することができる。つまり、これまでの写真では当然撮影した点からの写真しか見られないが、たとえば10cm右や20cm上から見たような画像を得ることができる。撮影した位置からは見えない陰の部分も見ることができ、不思議な感覚である。
なお、この特徴を利用して左右に10cm程度離れた2枚の画像を取得すると、それはステレオ画像である。少し加工して3Dテレビで表示したり、アナグリフ（赤青のメガネをかける）方式で通常のモニターに表示すれば3D画像を見ることができる。これが「3Dへの対応」である。
「夢のテレビ」って？
ところで、テレビ映像の理想はどんなものだろうか。歴史を振り返ると、カラー化に始まり高画質化、高精細化を追求する時代が長く続いた。4K（水平4000×垂直2000程度の解像度）テレビも製品化が近い。少し前には3次元化も実現され、今後は高画質化やグラスレス化が図られるだろう。
こうした段階的な進化とは別に、「どんなテレビがほしいか」からアプローチしている研究者もいる。「自由視点テレビ」はそんな研究者の「夢のテレビ」である。自由視点テレビでは文字通り、映像の視点を自由に変更することができ、たとえばサッカーの試合を選手の目線から見たり、審判の位置から見たりできる。そんな自由視点テレビの鍵となる技術が光線空間法である。Lytroでは制約があった視点移動が、自由になったと考えれば良い。技術開発だけでなく、MPEGでは自由視点テレビ(FTV: Free viewpoint TV)の符号化方式の標準化に2007年から取り組み、自由視点テレビの実現に向けた準備は着々と進められている。
光線空間法は1996年頃に生まれた技術であり、それから15年の研究を経てようやく製品化が実現した。そして今も日本や世界で研究が進められている。おそらくこの分野の研究者たちは、Lytroがリーズナブルな価格（$399からと発表されている）で実現したことに驚いていることと思う。Lytroから自由視点テレビへの道のりはまだ長い。動画対応、視点移動の自由度を上げるための大量のカメラ、広範囲をカバーするための大規模な設備、光線をすべて記録することによる膨大なデータ量と計算量など課題は多い。
これらの問題にはひとつずつ対処していくことが求められるが、今回のように節目節目で製品を出すと世に研究の意義をアピールしやすくなり、自由視点テレビの実現につながるものと考える。筆者もLytroを購入して微力ながら貢献したい。
本文中のリンク・関連リンク：
- Lytro Camera
- コンピュテーショナルフォトグラフィの活用で 多機能化に向かう次世代カメラ (EDN Japan)
- Marc Levoy and P. Hanrahan: “Light field rendering,” ACM SIGGRAPH, pp.31–42, 1996.