画像・映像処理技術2

多視点映像を利用したオブジェクト追跡技術

同期撮影した複数のカメラ映像(多視点映像)を利用し、それぞれの情報を相補的に用いることで、高速で予測困難な動きをする物体(オブジェクト)の3次元実空間内の位置を計算しながら頑健に追跡します。

【利用分野】
 ・ スポーツ番組の制作
 ・ ボール軌跡表示、速度データなどを利用したスポーツ選手の育成
 ・ オブジェクト追跡技術を活用したエンターテインメント

【特  長】
 1. 複数のカメラ映像を解析し、複雑な動きをするオブジェクトを実時間で追跡します。
 2. オブジェクトの実空間上の位置を算出しながら、遮蔽が生じても頑健に追跡します。
 3. オブジェクト軌跡などの映像効果を3次元CGで描画可能です。

63a-1.png

【技術解説】
高速で予測困難な動きをする物体(オブジェクト)を、1台のカメラ映像中から検出・追跡すること は困難です。本技術は、複数のカメラ映像を解析することにより、複雑な動きをするオブジェクトを頑健に追跡し、その3次元位置を計測します。この技術により、軌跡 CG 描画による移動軌道の可視化や、 速度などの数値データの取得が可能になります。

1. 複雑な動きをするオブジェクトを頑健に追跡
複数のカメラ画像からオブジェクトの画像座標を取得し、3次元位置を求めます。この3次元位置 を全カメラで共有し、次のフレームでの画像座標を予測しながらオブジェクトを頑健に追跡します。 急激な速度変化や遮蔽の影響などにより特定のカメラで追跡に失敗しても、他のカメラで計算した3 次元位置を参照し、追跡を継続することが可能です。これらの処理は、事前にオブジェクトの画像特徴を学習・調整することにより、自動的にリアルタイムで行われます。

2. オブジェクト軌道の可視化、速度などの情報取得
計測したオブジェクトの 3 次元位置の履歴に CG を描画することで、オブジェクトの「動き」を可視 化できます。さらに、オブジェクトの速度や加速度など動きに関する数値データを任意の位置、タイミ ングで提示することが可能です。

本技術は、カメラの位置計測と 簡単なキャリブレーション操作により運用を開始できます。バレー ボールに限らず野球やサッカーな ど、さまざまな球技やエンターテインメントにも応用可能です。

63a-2.png
図 多視点カメラを用いたオブジェクト追跡の流れ

【提供可能な技術】
 ・ 複数カメラを用いたオブジェクト追跡技術
 ・ オブジェクト軌跡の可視化技術

【関連特許】
 ・特開 2016-99941 オブジェクト位置推定システム、及びそのプログラム
 ・特開2017-102708 オブジェクト追跡装置及びそのプログラム


≪キーワード≫ オブジェクト追跡 / マルチカメラ / 動き予測