画像・映像処理技術2

映像内の高速移動オブジェクトの追跡技術

 高速で移動する物体(オブジェクト)の動きをカメラ映像から把握することは困難です。このようなオブジェクト(例えば、ボール)を映像内から自動的に検出・追跡し、その軌跡をCG で描画することで、オブジェクトの「動き」を可視化する技術です。

【特  長】
 ・映像内の高速移動オブジェクトをリアルタイムで検出・追跡します。
 ・ オブジェクトの軌道上に追跡の障害となる物が存在しても、その位置を予測しながら追跡を続けることができます。

【利用分野】
 ・スポーツ番組制作
 ・ボールの軌跡や速度データなどを利用したスポーツ選手の育成
 ・オブジェクト追跡技術を活用したエンターテインメント
51a.PNG
【技術解説】
 本技術は、画面内を高速移動するオブジェクト(ボールなど)をリアルタイムで追跡し、その軌跡をCG で描画することで、オブジェクトの動きを可視化します。オブジェクトの軌道上に追跡の障害となる物が存在しても、そのオブジェクトの位置を予測しながら追跡を続けることができます。
 以下では、野球でピッチャーが投げるボールの例を用いて説明しますが、野球以外のさまざまな球技などに適用することも可能です。

(1) 映像内の高速移動オブジェクトをリアルタイムで追跡
 カメラの映像は、時系列で連続する静止画(フレーム)で構成されています。カメラを固定して撮影した場合、時間的に隣り合うフレームどうしの明るさ(輝度)の差を調べれば、動きのある領域を検出できます。本技術では、この原理を利用して、高速移動するオブジェクトの位置を計測します。また、オブジェクトを探索する画像領域(探索範囲)を限定することによって処理時間を短縮し、リアルタイム処理を実現しています。具体的には、人がオブジェクトのおおよその出現位置を指定することにより、探索範囲を限定します。基本的にオブジェクトを自動検出して追跡を行いますが、その軌道上に追跡の障害となる領域が存在する場合は、その位置を予測して追跡を続行し、オブジェクトがその領域を越えた時点で正確に再捕捉します。

(2) 高速移動オブジェクトの軌跡を可視化する技術
 このようにして計測したオブジェクトの位置に軌跡CG を描画することで、高速移動オブジェクトの動きを可視化できます。まず、オブジェクトの検出位置を時系列に並べ、その軌跡を算出します。障害物等による検出漏れがあっても、データの補間と平滑化処理により、欠落のない滑らかな軌跡を作成します。その後、得られた軌跡データからCG を描画し、表示タイミングを合わせて元のカメラ映像へ重ね合わせます。
 野球で使う場合は、既存の設備をそのまま利用でき、キャリブレーションなどの事前準備も不要です。投球軌跡表示により、カメラの映像だけでは伝わりにくい変化球の落差などを分かりやすく表示できます。

【提供可能な技術】
 ・映像内の高速移動オブジェクト追跡技術
 ・オブジェクト軌跡の可視化技術

【関連特許】
(上記のリンクは開放特許DBにリンクしており、NHKエンジニアリングシステムのWebサイトから離れます)


≪キーワード≫ 動き予測 / 検出・追跡 / 高速移動オブジェクト