▲杉本 麻樹准教授

まず、杉本先生は、現実の環境をプロジェクタからの映像投影によって拡張するAR研究「AUGMENTED COLISEUM（オーグメンテッドコロシアム）」のデモンストレーションを見せてくださった。

研究室の天井に取り付けたプロジェクタからCG（コンピュータグラフィックス）によるフィールドが投映される。そこにロボットが2機置かれる。

これはワイヤレスのコントローラーで操作され、自在に動き回る。この環境の中では、CGによってロボットには現実には備わっていないレーザーを発射するといった対戦ゲームのための機能拡張が与えられている。

この環境ではロボットとCGオブジェクトが物理モデルを通じて驚くべき動き方をする。CGオブジェクトはモノという設定ではあっても映像なので、普通ならロボットはその上を通り過ぎるだけだ。

ところが、ロボットがCGオブジェクトに近づき接触すると、まるで実体のあるもの同士がぶつかったように衝撃を受け、それぞれが反発する。ロボットがCGの世界に入り込んだかのようだ。逆にいえば、CGの世界が実体を伴っているかのように実世界に浮かび上がってくる。まさにそれがARというものなのだろう。

ARで重要な役割を担う
センシング技術を追求

デモを見せていただいたオーグメンテッドコロシアムの研究について話を伺うことにした。杉本先生の研究室では、ARで重要な役割を果たすセンシング技術の確立と応用をめざしていて、この研究もその一環なのだという。

「オーグメンテッドコロシアムでは、基盤技術として、現実の環境に存在するロボットの位置と姿勢を、投映されるプロジェクタの座標系の中で正確に測ることが必要になります。

従来の技術としては、たとえばカメラを使ったり磁気式のセンサーを付けたりして対象の位置を測るということが行われていました。

ただ、カメラのシステムで測った情報を使う場合は、カメラの座標系とプロジェクタの座標系の位置合わせをしっかり行う必要性が出てくるという問題があります。カメラの映像の中では正確に認識できていたとしても、プロジェクタの座標系に正確に変換できないとずれが生じてしまうのです」

杉本先生は、そういった複数の座標系があることによるずれを解消するための方法を考えた。

「たとえば、映像を投映しているプロジェクタの情報そのものを基準にして位置を測ることができれば、拡張現実の表示をするために使用している座標系のなかでターゲットの位置が正確にわかるので、座標系同士の位置合わせによるずれを一切なくすことができるだろうと考えたのがこの研究の始まりです」

杉本先生によると、位置を測る手段になっているのは「光」だという。

「このシステムの場合、プロジェクタの側から映像とともに明るさの指標を投映して、それをロボットの上に付いているシンプルな照度センサーで計測しています。プロジェクタで光のモノサシを投映して、ロボット側がその目盛りを照度センサーで読み取ると考えていただくとわかりやすいのではないでしょうか。

このロボットには4個の照度センサーを付けていて、それぞれのセンサーが読み取ったモノサシの情報を統合することによって、ロボットの位置と姿勢の両方を正確に割り出すことができるようになっています。

投映している映像の中で一番明るいところと一番暗いところ、その間の遷移のモデルを把握することで、位置と姿勢を正確に割り出せる処理をしているのです」

バーチャルな反力を計算して
衝撃による動きを表現

実体のあるロボットと映像であるCGオブジェクトが衝突し、それぞれ衝撃を受けて後退したりするのも、この正確な位置情報がベースになっている。

「ロボットはもちろん、CGオブジェクトも剛体として設定しているので、ぶつかってもお互いにめりこむことはないはずですが、実際にはロボットが少しCGオブジェクトに入り込みます。その入り込んだ距離を基に、それに応じたバーチャルな反力を計算して、ロボットはモーターの出力で表現し、CGオブジェクトは移動で表現することで、互いがぶつかった衝撃で後退するようになっているのです」

このように、実体のあるモノとイメージである映像情報が同一の世界に存在しているかのようなARの技術は、ゲームなどエンターテイメントの新しい可能性を開くことにもつながっていく。

「たとえば、実体のあるロボットをバーチャル環境のゲームに登場させて、いろいろなエフェクトに応じてロボットやゲームのオブジェクトが相互に干渉し合いながら動くというインタラクションによって、実世界とバーチャルなイメージ世界がシームレスにつながります。

我々が子どもの頃に、オモチャなどをイマジネーションで拡張して遊んでいたことを、情報処理とセンシング技術によって現実として楽しむことができるわけです。このように、現実の世界とコンピュータの中のバーチャル環境を継ぎ目なく融合することで、人の想像力を拡張できるところがARの面白いポイントだと思っています」

《つづく》

●次回は、Part.2『人の表情をリアルタイムでCGキャラクターに反映』です。