CV・NLPハマりどころメモ

画像認識と自然言語処理を研究する中でうまくいかなかったことと、その対策をまとめる自分用メモが中心。

スペックルを用いて隠れた位置にある物体を追跡[CVPR][論文読み]

Tracking Multiple Objects Outside the Line of Sight using Speckle Imaging (CVPR2018)

ieeexplore.ieee.org

f:id:Vastee:20190130151250p:plain

目的

障害物によって隠れた位置(Non-Line-Of-Sight)にある物体の動きを追跡すること.

技術的なキモ

物体とスペックルの動きの関係をシンプルに定式化したこと.

f:id:Vastee:20190130160903p:plain

f:id:Vastee:20190130151303p:plain


物体の動きによるスペックルパターンをシンプルな解法で抽出したこと.

以下に抽出の方法を簡単に説明する.

物体の動きによるスペックルパターン Iprim(p) は,壁のテクスチャ R(p) によって変調され,さらに2次スペックルパターンも含まれるので,カメラで観測されるパターン I(p) は以下のように定義される.

f:id:Vastee:20190130155222p:plain

ここで,平均画像(オブジェクトの動きを捉えた動画像の平均)を算出.

平均画像には,R(p) と Isecon(p) が含まれていると仮定.

f:id:Vastee:20190130155344p:plain

最後に,カメラで観測した画像を平均画像 Imean で割ると Iprim(p) が抽出される.

f:id:Vastee:20190130152017p:plain


複数物体の動きを分離するためのクラスタリング手法を提案 ( 読んでないので把握してません ) .

f:id:Vastee:20190130153743p:plain

先行研究との違い

複数の物体の動きを追跡できるようにした.

実験結果

隠れた場所にある物体の動きを正確に追跡できている... すごい!

f:id:Vastee:20190130154024p:plain

議論

TBA

応用先

救助活動やリモートセンシング,監視,医療に活用と論文に書いてあった.

備考

動画あり.

www.youtube.com