光学測定を補完可能! 点群アップサンプリングモデルにGANを導入した「PU-GAN」登場!

論文 2019年08月05日

参考論文 : PU-GAN: a Point Cloud Upsampling Adversarial Network

Status : accepted by ICCV2019

Subjects:Computer Vision and Pattern Recognition (cs.CV)

Submitted on 25 Jul 2019

written by Ruihui Li

“点群”と呼ばれるデータの種類を聞いたことがあるでしょうか？英語では “point group”や”point cloud”を指し、データとしての大まかな定義は”空間上における点の集合(群)”のことを言います。

例えば、3D光学レーザースキャナーなどを用いることで日常の風景を”点群データ”として保存することができます。

点群データは、ノイズが混じっていたり、不均一であったり、まばらであることが多いです。これら欠損や不均一性のある点群データにおいて、点の密度を上げる試みを”アップサンプリング”と呼び、近年高い注目を集めています。

今回は、3次元点群のデータをアップサンプリング(イラスト内の点の密度をあげる)において、GANモデルのアイデアを導入した新たなモデル提案「PU-GAN (a Point Cloud Upsampling Adversarial Network)」を紹介していきます。

ただでさえ不均一性などの偏りをもつ点群データに対してGANネットワークを実用化するために、ただ”アップサンプリング”を行うだけでなく、”Up-down-up expansion”と呼ばれる機構を導入することでより精度の高い点群データの再構築を行なっています。

また、本研究の実験結果から、「PU-GAN」は従来の点群アップサンプリングモデルと比較し、最高精度の結果を出力できることが分かっています。

研究背景

これまでも、3次元空間上における点群の補完や推定のアップサンプリングを行う試みはありました。しかしながら、従来モデルでは”最適化”をベースに行われおり、また、出力にも制限がありました。

本論文では、GANの”敵対的生成ネットワーク”を用いることで、新たな視点から3次元点群におけるアップサンプリングを行うモデル「PU-GAN」を紹介しています。

PU-GANは、”敵対的生成ネットワーク”の適用により、生成器では潜在変数空間の確率分布から得られる多様な点を生成する事ができ、識別器では、識別器から得られた点の集合を評価します。

モデル概要

上画像は、「PU-GAN」のモデル概要図になります。従来のGANと同様に、生成器(画像上)と識別器(画像下)によって構成されています。

生成器の大まかな流れは、特徴量を抽出する「Per-point feature extraction unit」から、重要な点の生成と選択を繰り返す「Up-down-up expansion」、損失関数が最適化な点集合を回帰し生成出力を行う多層パーセプトロン「Coordinate reconstruction とFarthest sampling」から成ります。

識別器では従来通り、入力された点群データか、生成器から出力された点群データかを識別します。識別器にはMLPを用いており、Self-Attention unitを用いることで、処理負荷を軽減しています。

「Up-down-up expansion」はこのモデルの重要なパートでもあり、特徴量となった点をベースとして、その周りに新たな点を生成しますが、それだけでは元々の特徴量と似通った点だけが生成され続けてしまいます。

そこで、アップサンプリングとダウンサンプリングを交互に行い、一度生成された特徴量(アップサンプリング)からもう一度重要な特徴量を取り出し(ダウンサンプリング)、その中からもう一度その周りに点の生成を行います(アップサンプリング)。これにより、生成された点は、元々の形状をよく再現しつつアップサンプリングを行う事ができます。

結果

上記は、 “2048個の点によって描かれたヒョウを表す点群”を入力とし、様々なモデルによって点の数(密度)をアップサンプリングし、補完結果を比較したものになります。

左から、(a)入力画像 (b)正解画像 (c),(d),(e)従来モデル (f)PU-GANによる出力となります。また、上段が出力であり、下段は既存モデル”P2F(Point to Surface)”によって、点群の表面を覆ってより視覚的に比較しています。

まず、上段に関して、尻尾の部分に注目してみると、PU-GANによる出力は点の数が最も多く、かつ入力の形状を保って(正解データに近く)生成されている事がわかります。

また、下段で各出力点群の表面を覆った結果を見ると、より明確にその形状が正解データに近い事がわかります。

次に上の画像は、データセット「KITTI」から得られたLiDARデータ(実際の風景画像を光学レーザー測定により高密度点群サンプリングを行なった画像)を、「PU-GAN」を用いて補完した結果になります。上段がレーザー測定により計測された入力データ、下段がPU-GANによって出力された点群となっています。

非常に細かく繊細な点群を入力とした場合でも、各物体がより濃くハッキリと描写されている事がわかります。

この技術を用いれば、例えば欠損のある光学測定マップであっても、その欠損を補いより鮮明に表せるでしょう。3次元空間点群のアップサンプリング技術は、このように実用面も兼ねている興味深い研究だと思います。

終わりに

本稿では、「PU-GAN (a Point Cloud Upsampling Adversarial Network)」を紹介しました。PU-GANはGANをベースとし、点群のアップサンプリングと欠損データの修正能力を組み合わせた点群アップサンプリングモデルでした。

敵対的生成ネットワークにより、生成器に”統一的な分布から点群を生成”させ、識別器にはその識別を行わせることで精度を向上させています。

また、実験から「PU-GAN」は既存モデルと比較し、点群による画像生成の中でも最高精度の成果を発揮する事ができました。

しかしながら、「PU-GAN」はパッチレベルの小さな埋めるために設計されているため、大きな欠損を埋めるためには限界があります。例えば、明らかに既存情報量の少ない点群データの場合は、より大域的なスケールで分析と生成を行うために、異なる設計が必要となるでしょう。ゆくゆくは、様々なスケールで自由な生成を行うことが期待されます。

今後、このモデルが実用化される事で、光学測定モデルの欠損の補完や、他モデルとの組み合わせにより自由なモデリングを行う事が可能になるでしょう。もしくは、失われた情報から推定される理想的な3Dモデルが復元される可能かもしれません。GANが人間の創造性を超えることは、そう遠い未来ではないかもしれません。