MVTracker：少数カメラで高精度を実現するマルチビュー3D点追跡手法

LLM-Paper 2025年09月21日

3つの要点
✔️ MVTrackerは少数カメラで動作する初のデータ駆動型マルチビュー3D点追跡手法
✔️ 3D特徴点クラウドとk近傍相関、トランスフォーマーを組み合わせ長期追跡を実現
✔️ 実験で従来法を大幅に上回り、2cm誤差・7.2FPSの実用的性能を示した

Multi-View 3D Point Tracking
written by Frano Rajič, Haofei Xu, Marko Mihajlovic, Siyuan Li, Irem Demir, Emircan Gündoğdu, Lei Ke, Sergey Prokudin, Marc Pollefeys, Siyu Tang
(Submitted on 28 Aug 20252)
Comments: ICCV 2025, Oral. Project page: this https URL
Subjects: Computer Vision and Pattern Recognition (cs.CV)

概要

本論文は、複数のカメラ映像を用いて任意の3D点を追跡する新手法「MVTracker」を提案しています。

従来の単眼ベースの手法では、奥行きの曖昧性や遮蔽に弱く、実世界で高精度に3D点を追跡することは困難。
また、既存のマルチカメラ手法も20台以上のカメラや逐次最適化を必要とし、実用性に乏しいという課題がありました。

MVTrackerは、現実的なカメラ数（例：4台）で動作可能な初のデータ駆動型マルチビュー3Dトラッカーであり、オンライン処理に対応するとのこと。
本手法は、複数ビューの特徴と深度情報を統合して3D特徴点クラウドを構築し、そこからk近傍探索による相関計算を行います。

さらに、時空間トランスフォーマーモジュールを用いた逐次的な軌跡更新により、長期的な3D点追跡を実現。
Panoptic StudioやDexYCBといった実データセットで検証した結果、従来法を大幅に上回る精度を達成し、汎用性と効率性を兼ね備えた点追跡基盤として新たなスタンダードを提示しました。

提案手法

MVTrackerの中心的なアイデアは、マルチビュー映像から統一的な3D特徴点クラウドを生成し、その中で点同士の相関を計算することにあります。

各フレームからCNNで特徴マップを抽出し、深度情報（センサー由来または推定）とカメラパラメータを用いて3D空間に射影。
こうして構築された特徴点クラウド内で、k近傍探索を用いて局所的な相関を算出し、外観の類似性と空間的オフセットを組み合わせて追跡に利用します。

その後、スライディングウィンドウ方式で時系列を処理するトランスフォーマーに入力し、自己注意機構を通じて点の位置と特徴を逐次的に更新。
この仕組みにより、遮蔽や複雑な動きにも頑健に対応できます。学習はシミュレーションデータ（Kubricによる5,000シーケンス）を用いて行い、損失関数は位置誤差と可視性判定を組み合わせて定義されるとのこと。

従来のトリプレーン表現に比べ、3D点クラウド表現は情報損失が少なく、異なるカメラ数や配置に柔軟に対応できることが大きな特長です。