壁に映る影から元の画像を再構築することが可能に。壁を鏡にする方法とは？

論文 2019年04月08日

今回紹介するのは、通常のデジタルカメラとコンピュター技術を使用して、白い壁から反射された影を分析することによって、画像を再構築するという研究です。近くの壁に映った拡散反射（影）を分析することで、見えない物体の詳細を見ることができることが報告されています。

論文：　How an ordinary camera can see around corners

”壁を鏡にする”

一見不可能に思えるこの試みですが、ボストン大学の研究チームは、たった一つの一般的なデジタルカメラから、壁に写った反射から元の絵が復元できることを示しました。

論文によると、「計算ペリスコピー（Computational periscopy）」を使用し、近くの壁に映った拡散反射（影）を分析することで、見えない物体の詳細を見ることができることが報告されています。

このような壁の向こうや曲がり角の先など見ることができない場所にあるものを見えるようにする研究は以前にもありましたが、高感度のセンサーとハイテク機器を駆使したアイテムは複雑な上にコストが高過ぎるため、実生活への応用は難く実用的なものではありませんでした。今回の研究では、一台の普通のデジタルカメラから、壁に映った画像（壁に映る影）を解析することに成功しています。

例えば、これは拡散反射を切り取った画像です。通常であれば何が写ってるか見分けるのは不可能です。

実際、これはきのこです（上画像）

非常に似ていますが、これはキノコではなく顔です…（下画像）

肉眼でこれがなんなのか当てる事は不可能でしょう。しかしこのアルゴリズムを使用すると、現実的なオリジナルの絵を復元することができます。以下は3つの再構成の例です。

こちらは再構成された画像です。

本稿では壁からの拡散反射（拡散光）を利用することにより画像の再構成を可能にしています。

拡散反射とは？

中学の物理を振り返って見ましょう。

物体による光の反射は、鏡面反射と拡散反射に分けられます。鏡の表面は滑らかで、光を一定の方向（正確な角度）に反射させることができるため、私達が物体を正確に見ることを可能にします。光は正確な角度でしか反射しないため、画像を忠実に反射します。

しかし、壁は荒れており、スクリーン上の光がその上に投影されると、光はあらゆる方向にランダムに反射します。これを「拡散反射」と呼びます。情報は利用可能ではありますが、それはスクランブルされています。

常識的に考えれば、拡散反射の拡散光を通してオブジェクトの元の外観を復元することはできません。これを可能にするために今まで、研究者たちは解読するための技術を考案してきました。いくつかの以前の実験では画像を復元することができました。しかし特別な照明（レーザーによるスキャンなど）、特別なカメラ、などを必要としており、かなりコストのかかるものでした。

一方、2017年に、MITによって、スマートフォンのカメラを使用して光の反射に関する情報を収集し、障害物の後ろに隠れている物体を検出する新しいアルゴリズムが開発されています。しかしこれらの方法においても、シーン自体が暗い場合、画像の品質に影響を与え、画質が悪くなるなどの欠点がありました。本稿では、実験室条件の外での再現性と高コストに対処した方法が提案されています。

壁を鏡に変える

図のように、白い壁の前にデジタルカメラを設置し、同じく白い壁に面するようにLCDスクリーンを配置しました。カメラと画像の間には壁を挟んでいます。そして、デジタルカメラを使って、コンピュータの画面の隅に隠れている壁から反射した光を撮影しました。

ここでは、コンピュータの画面と壁の間に障害物（暗い画面や椅子）を配置しています。障害物は光線がスクランブルされ過ぎないようにするのを助け、光の粒子に含まれる情報から画像を再構成することを助けます。この障害物はシースルーではない限り、オブジェクトは実際には何でもかまいません。この場合は普通の椅子を使うことを選びました。

これは、ピンホールカメラ（および特定の軟体動物の目）がレンズなしで鮮明な画像を生成することを可能にする原理に類似しています。それらは、狭い穴を通過するものを除いてほとんどの光線を遮断します。つまり、ディスプレイと壁の間に障害物があると迷光が減り、入射光が増えより画像を鮮明にすることができます。

さらに、スクリーン上の画像を正確に復元するためには、壁の各点の明るさとスクリーンの明るさの間の関係を確立する必要があります。

ここでは影の端から光線をたどることで、スクリーンのどの部分がディスプレイ（絵）のどの部分を照らすかをマッピングしました。それから、デジタルカメラで記録された表面の画像から逆方向に機能するアルゴリズムを使用して、画面に表示されたパターンを再構成し、オリジナルに近いカラフルな写真を出現させます。

実際に再現している様子をまとめているのが以下の画像です。カメラはLCDディスプレイがどこにあるのか分からないため、最初に、白い壁を解析して半影が投影されている場所を推測します。そして、ぼんやりとうつった半影から赤・緑・青(RGB)の3色を識別し、アルゴリズムによって解析することで、画像を再現します。

著者らによると、複数の画像を用いれば、隠れたターゲットの動きを追跡できるとのことです。この技術の最も実用的な用途としては自動運転車でしょう。駐車中の車の死角に子どもがいるかどうかを判別したり、街の交差点で自分に見えない部分の情報も捉えることに応用可能です。さらに、顕微鏡、医療用画像処理、化学プラントや原子力発電所などの危険な環境での監視など、もっと広範な用途がある可能性があるとも述べられています。