画像・映像処理技術2

剣先追跡技術(ソードトレーサー)

フェンシング競技での剣先の動きなど、高速に移動するオブジェクトの軌跡を可視化する技術です。
移動物体からの反射光を検出し、その位置に基づいて軌跡を可視映像にリアルタイムに合成します。

【利用分野】
・ スポーツ番組制作
・ 軌跡表示、速度データなどを利用したスポーツ選手の育成
・ 剣先追跡技術を活用したエンターテインメント

【特  長】
(1)  赤外映像を利用し、高速に移動する剣先の軌跡を可視化します。
(2)  カメラ1 台で運用でき、キャリブレーション作業も不要です。
(3)  機械学習を利用し、剣先を高精度かつ高速に追跡します。
85a-1.1.PNG

【技術解説】
フェンシング競技では、注目対象となる剣先は細い上に高速に移動するため、カメラ映像だけから試合状況を理解することが困難です。そのため、剣先の動きを分かりやすく表示する工夫が必要になります。そこで赤外・可視一体型カメラを用い、赤外映像から注目対象を検出・追跡して、その軌跡を CG化して可視映像へリアルタイムに合成します。
この技術により、視認困難な高速移動体の動きを分かりやすく可視化できます。

(1) 高速に移動する剣先を頑健に追跡
剣先に反射テープを貼り、カメラ側から照射した赤外線の反射光を赤外映像上で検出します。赤外映像は一般に背景が均一なため、ノイズの影響を抑えた高精度な検出が可能です。しかし、選手のユニフォームや剣のガード部分などからもノイズとなる反射光が生じます。これらノイズとなる反射光の誤検出を防ぐため、機械学習を利用しています。剣先と剣先以外の画像群からそれぞれ画像特徴を抽出し、識別器を作成することで、剣先のみを高精度かつリアルタイムに検出します。また予測アルゴリズムを用いて次のフレームの剣先位置を予測することで、選手2 人の剣を区別しながら頑健に追跡します。

(2) 剣先追跡の可視化
計測した剣先の位置座標をもとに軌跡CG を描画し、剣先の「動き」を可視化します。赤外・可視一体型カメラは両映像を同一の光軸で撮影するため、可視映像へ軌跡CG を合成する際に座標変換が不要です。カメラ1 台で撮影でき、事前のキャリブレーション作業も不要なため、簡便に運用できます。
85a-2.1.PNG
本技術はフェンシングに限らず、反射テープを貼付可能な競技やエンターテインメントに幅広く応用可能です。

【提供可能な技術】
・ 機械学習を用いたオブジェクト追跡技術
・ オブジェクト追跡の可視化技術

【関連特許】
・ 特開2017-156796 オブジェクト追跡システム、オブジェクト追跡装置及びそのプログラム、並びに、位置表示体付き物理オブジェクト
・ 特開2018-078431 オブジェクト追跡装置及びそのプログラム


≪キーワード≫ オブジェクト追跡 / フェンシング / 剣先追跡 / 動き予測 / 赤外線