画像・映像処理技術

顔画像の検出・追跡・認識技術

 顔画像の検出・追跡・認識に関する技術です。映像に映る顔の特性を考慮した、柔軟な照合手法を中心としています。入力映像に肌色領域を抽出して顔検出器でスキャンして顔を検出します。顔検出に続いて柔軟な照合手法を行うことによって顔を追跡しながら認識します。

【特  長】
 ・柔軟な照合手法により、表情や発話による顔の変形、一部の遮蔽にも対応できます。
 ・顔の向きを左右・上下の方向に追跡して、正面に向いたら認識します。

【利用分野】
 ・登場人物の情報を利用した映像アーカイブの映像検索
 ・登場人物の情報を利用した編集シーンの高速探索

17452.png
図 顔検出・追跡・認識システムの構成


【技術解説】
 映像アーカイブや未編集素材を検索可能とするために、映像の内容を記述した「インデックス」(索引)を映像に付ける必要があります。例えば、映像のシーンごとに、登場人物の名前をインデックスとして付けておけば、人物の名前を検索キーとして、膨大な映像アーカイブや素材映像から、その人物が映っているシーンを速やかに探し出せるようになります。
 映像を解析してその中で映っている人物を認識する最も簡単な方法として、入力映像のフレーム画像とデータベースに登録された顔画像データを比較して類似度が最大になる顔画像を認識結果とする方法があります。しかしこの方法は、入力フレーム画像と登録画像の撮像条件(顔の位置、大きさ、向き、照明、表情など)がほぼ一致する場合にしかうまくいきません。実際の放送映像での撮像条件に対して柔軟に対応できる方法が必要です。
 ここで紹介する方法は「可変テンプレートマッチング」という技術を中心としています。可変テンプレートマッチングは、登録顔画像における幾つかの特徴点の位置とその特徴点で計測された画像特徴を格納した顔画像特徴データベースからの特徴量を、計測しようとしている顔画像に変形させてマッチングすることにより、顔画像の認識と追跡を実現する技術です。
 この方法では、まず入力画像から肌色領域を抽出して検出範囲を絞った後に、顔検出器で正面を向いている顔が映っていそうな領域を検出します。そして前フレーム画像で得られた認識・追跡結果を利用して、顔検出器で検出した、現フレーム画像で顔が映っていそうな領域にテンプレートを当てはめ、各特徴点の位置を変形しながら探索します。次に、探索により得られた特徴点およびその近傍から計測される画像特徴と、変形した顔画像特徴データベースの画像特徴を比較してマッチングスコアを算出し、人物を認識することができます。さらに、最もマッチングスコアが高かった画像特徴を持つ認識・追跡結果を次のフレーム画像におけるマッチングの初期値として使用することによって、顔が映っていそうな領域を柔軟に追跡できます。

【提供可能な技術】
 ・肌色領域抽出技術
 ・顔の追跡技術

【関連特許】
(上記のリンクは開放特許DBにリンクしており、NHKエンジニアリングシステムのWebサイトから離れます)


≪キーワード≫ 肌色領域抽出 / 顔画像認識 / 顔画像追跡