「実世界指向インタフェース」という言葉をご存じだろうか。 簡単に言えば、マウスやキーボードを使わないユーザインタフェースである。 一番ポピュラーなのは音声認識。 つまりマイクで喋った言葉を拾ってコンピュータを操作することだ。 だが、これは実世界指向のほんの一端に過ぎない。 数年以内にはさまざまなデバイスが実用化され、 われわれの前に登場しそうだ。

ボタンの無いモバイル情報端末

まずは日立が開発した 「一切のボタンを排除したモバイル情報端末 Waterscape」を見て欲しい。 本体を傾けてディスプレイに表示される“泡”を操作して、ボタンの代わりにする。 ひとつひとつの泡はメールだったり、画像だったり、映像だったりする。 ある泡を中央に運んで端末を水平にすると情報が表示される。 見終わったら、端末をシャカシャカ振ると情報が消える。 暇潰しにだらだら情報を見るには、このくらいでも十分使える。 なにより楽しそうだ。

実はこの端末にはPCからダウンロードした情報を見るだけの機能しかない。 機能はシンプルに、その代わりに直感的な操作を実現した。 これが実世界指向インタフェースである。

リモコンを使って家電を直感的に操作する試みもある。 冷蔵庫からテレビにコピー＆ペーストすると、 テレビに冷蔵庫の中身が表示される。 室温を上げるにはエアコンを指してから、リモコンを上方向に動かせばいい。 やはりシンプルだが、これで十分だろう。

リアルと仮想をつなぐデジタルデスク

次は「デジタルデスク」を見てみよう。 プロジェクタでパソコンの画面を机の上に投影している。 机の上で積木を並べたり、移動したりして、コンピュータを操作する。 それぞれの 積木にはセンサや発信器が内蔵されており、 位置や動きをコンピュータに伝えている。 ビデオカメラで机上の物体の形や種類を認識する方法もある。

これが便利なのは議論するときや分析するときだ。 積木に情報を張り付けて、ああでもないこうでもないと、 アイデアや情報を並べ替えたり、整理したりするのである。 もちろん単純に画面上のアイコン操作の代わりにも使える。 まさに“デスク”トップ画面である。 積木だけでなく、例えば雑誌やカタログを机に開いて、 探したい情報を指で差すだけでインターネットを検索することもできるだろう。 二つのPDAの情報をデジタルデスクで共有することだってできる。

ジェスチャーを2台のビデオカメラで認識する方法もある。 画面内には自分の分身（＝アバター）が映し出され、 その分身が3次元化されたデスクトップを操作するというものである。

使ってみれば分かるのだが、 実物を“触る”“動かす”という行為は想像以上に直感に訴える。 パソコンの前に座って、マウスでクリックしたりドラッグするのとは、かなり違う感覚だ。 つまり、実世界指向インタフェースは「実物指向」であるということだ。 コンピュータに不馴れな人はもちろん重宝するだろうが、 著者のようなへビーユーザであっても、 直接手で操作する便利さを覚えてしまうと、 いちいちパソコンを立上げて使いたくはない。

文脈を理解することの大切さと難しさ

こんなシンプルな機能がどうしてこれまでできなかったのか。 それにはいくつか理由がある。 ひとつは掌で持てるほど小さなデバイスが技術的に作れなかったからである。 また、ビデオカメラを使った画像認識も精度が悪かった。 CPUや周辺回路を一体化するシステムオンチップや、 近距離・低消費電力通信のブルートゥースなど超小型化技術はこれから普及段階に入る。 やっとハードウエアの制約が解消しつつあるというのが現状だ。

それ以上に難しいのは、ユーザの意図を読みとることである。 例えば、雑誌を指さしたとき、対象は雑誌そのものか、雑誌に載っている記事か、 あるいは単に方向を示しただけなのか、前後の状況を理解しないといけない。 これを「文脈に依存する」という。 文書をファイルをドラッグ＆ドロップするときに、 ドロップ先がワープロかゴミ箱かフォルダかプリンタか、 に依存して動作が変わるようなものである。 ところが実世界インタフェースでは、 動かす対象も操作方法もあいまいかつ千差万別になる。 人間ならば常識的な判断で分かってもコンピュータには難しかった。 この文脈理解の技術はまだまだ人間には程遠いけれど、 使う場面を限定すれば実用レベルになってきた。

人間に一歩近づくコンピュータ

実世界指向インタフェースとは、コンピュータが四角い箱から飛び出すことに他ならない。 それはコンピュータが人間に歩み寄る。一般人の感覚に近づくということだ。 ディスプレイに表示された意味不明のメニューやアイコンに悩まされ、 IT講習会で苦労して覚えるようなコンピュータではない。

ただ、実世界指向インタフェースは今のところたいした操作はできない。 「指を差す」「ものを動かす」といった直感的操作だけができる。 しかし、そこからユーザの意図を汲みとって、 情報を表示したり、機械を操作することができる。 なんでもできるパソコンは、実は何をするにも面倒なのだ。 一方、シンプルに直感的に操作するのは楽なのだ。 これが一番重要なことではないか。 コンピュータが人間にまた一歩近づいたようだ。

物にバーコードや発信器を張り付けて、近くに来ると存在を知らせる それが何であるかは別のサーバに問い合わせる さらには超小型CPUを内蔵して、自分自身が何であり、 それまでどうしてきたかを知らせる。 (実オブジェクトインタフェース) 掌にデバイスを持つ 部屋自体がセンスする→ユビキタス へッドマウントディスプレイをかけて現実世界にＣＧをかぶせる 拡張現実(augmented reality)