仕草で語り合う非言語インタフェース

犬語が話せずとも

しっぽがヒョコヒョコ動いていれば大層ご機嫌な時だとわかる。
人は嘘をついているとまばたきが多くなるというのも、潜在意識の現われであろうか、 何か普段と違うと感じるサインとなる。

手で頭をかく


たとえば、「手で頭をかく」仕草は日本では、「照れる/恥ずかしい」、「まいった/まずい」
などの意味として取られる。これはアジア諸国だけでなく、欧米、アラブ、アフリカ諸国などでも
同じように「わからない」「考え中」のようになんらかの精神的困惑を示す。すなわち、海外旅行先で
「困っている」ということを相手に伝えたいときには、 この仕草をすればほぼ世界中で意思伝達ができるわけだ。

しかし、「照れる」という意味は日本と韓国にしか通用しない。
というよりも、「照れる」にぴったり相当する言葉が他の国にはないらしい。 そこには心理的な違いがあるのか。
たしかに、ドイツ人やサウジアラビア人が「いやぁ?」などといって頭をかいて ニヤニヤ照れているシーンは 想像し難い。

それでも、ことばを用いた(verbal)会話より、仕草やジェスチャを使った非言語の(non-verbal)
コミュニケーションの方が直観的で感情や状態をすばやく伝えやすい場合が多い。
「かゆみ」のために頭をかいている時と困っている時とを見分けるのも、
顔の表情を見たり状況がわかっていれば、それほど難しくはない。

ただし、これは人間と人間との話であるけれども。


リビングのテレビの音量を「シー」

というジェスチャでミュートしたり、手の位置で上げ下げできたら、 とっさにリモコンが見つからなくて困ったり、
ずっとリモコンを握り締めていたりすることはなくなる。

もう10年も前のことだが、私が学生時代に行っていた コンピュータ音楽とヒューマンインタフェースに関する 研究、 『人間の指揮に従うコンピュータ演奏システム』では、
右手の指揮棒をCCDカメラで読み取ってテンポを捕らえながら、 「シー」という動作や音量の上げ下げ、ビブラートといった左手の指示動作を
データグローブ
という手袋状のセンサを用いて認識し、自動演奏のパラメータを制御していた。
自分の動作によって即座に意思が伝わったときは実に壮快であった。

たぶん、テレビのリモコンのスイッチをすべてジェスチャに置き換えると、
不自然なジェスチャも出てきて、今度はそれを一気に覚える人間の方が参ってしまう。
それでも慣れてくれば余裕が出てきて、今度はマシン側にいろいろなサインを教えたくなるだろう。

そして、それは大いなる楽しみに変わるに違いない。

小指を立てる


たとえば、小指を立てると「ゆびきりげんまん」(約束の意味)で、 ビデオ録画や目覚ましアラームなどの予約設定モードになるとか。
ちなみに、このジェスチャは、日本や韓国では「恋人」などという意味があるが、
他の国では「小さい」などといった意味を示すか、または特に意味を持たない。

インドやスリランカでは、「トイレに行きたい」という意味があるのが不思議だ。


人間と人間のコミュニケーション

で使っている伝達手段を、ユーザインタフェースに取りこむと、 人が機械の操作方法を習得する必要がない。
意思を伝えたい相手が人であるかマシンであるか、あるいは混在していても 気にする必要もない。
前述の「指揮システム」の例では、指揮者(人間)、ピアニスト(人間)、
オーケストラ(コンピュータ)による、チャイコフスキーのピアノ協奏曲を 楽しむことができた。

最近、カメラデバイスの価格も下がってきて、 画像処理を行えるだけのパワーを持ったCPUチップも安価になってきた。
また、なでると喜んだり、叩くと叱られていると認識する、自律性を持った ペットロボット もいよいよ製品化され、
ますます『ヒューマンインタフェース』とはどういうものなのかを考えさせられる。

言語を用いない ノンバーバルインタフェースは、
便利になるという以上に、人とマシンの愉快な関係が生まれるんじゃないかと思う。

「おいでおいで」ではなくて欧米などでは

「ごきげんよう、さようなら」




参照リンク

参考図書: 「世界20カ国 ノンバーバル事典」金山宣夫著、研究社出版

参考図書: 「仮想音楽空間」大照完、橋本周司共著、オーム社

参考文献: Morita,H., Hashimoto,S., and Ohteru,S. : “A Computer Music
System that Follows a Human Conductor”, IEEE Computer, Vol.24,
pp.44-53 (1991).

データグローブの最新版「SUPERGLOVE」

ペットロボットAIBO(ソニー)

参考図書: 「ノンバーバルインタフェース」黒川隆夫著、オーム社