NHK技術カタログ

オブジェクト認識を利用した画像検索技術

画像に映っているオブジェクト(物体)を認識し、類似したオブジェクトが映る他の画像を検索する技術です。例えば「飛行機」の画像を入力すると、「飛行機」というオブジェクトを認識し、「飛行機」が映った他の画像を検索することができます。

利用分野

・ イメージに沿った画像の検索
・ 写真の分類、アルバムの整理
・ 類似画像の検索

特長

・ ある画像を元として、類似画像を検索する技術の一つで、類似したオブジェクトが映る画像を検索できます。
・ 検索種となるクエリ画像の数を増やすことで、検索精度を向上させることができます。
・ 人物の検索にも応用できます。
・ 計算負荷を軽減する仕組みを備えているため、ノートパソコン一台でも動作します。

技術解説

大量の画像データの中から目的の画像を素早く探し出すためには、色や模様といった表面的な類似性ではなく、映っているオブジェクト(時計や花などの物体)を考慮した検索が重要になります。ここで紹介するのは、画像に映っているオブジェクトを認識して、類似したオブジェクトが映る他の画像を検索する技術です。本技術は、人物の検索にも応用できます。

(1)オブジェクト認識に基づく検索
与えられた画像の種(クエリー画像)からそのオブジェクトの「見た目の特徴」を学習し、その学習結果を利用して類似したオブジェクトが映る画像を検索します。例えば、「飛行機」が映っている画像をクエリー画像として与えることで、「飛行機」が映る他の画像を検索することができます。複数のクエリー画像を与えることができ、撮影アングルなどが異なる画像を追加することで検索精度を向上させることが可能です。
具体的には、クエリー画像から局所特徴ベクトルと大域特徴ベクトルを算出し、これらの特徴ベクトルを様々なサイズの矩形領域ごとに集計してそれらを連結することでフレーム全体の特徴ベクトルとします。最後に、特徴ベクトルを分類することにより、目的とするオブジェクトが映っているかどうかを判定します。

(2)ノートパソコン一台でも動作可能
中間データをキャッシュファイルに保存するなど、計算負荷を軽減する仕組みを備えています。そのため、数千枚程度の画像データからの検索であればノートパソコン一台でも動作させることが可能です。

提供可能な技術

・ 画像に映るオブジェクトを認識する技術 ・ オブジェクトの類似性に基づいて画像を検索する技術 ・ 明条件や表情の変化、ノイズなどに強い人物検索技術

関連特許

特許第5243888号 データ分類装置及びデータ分類プログラム
特許第5865687号 画像特徴量抽出装置およびそのプログラム
特許第6151908号 学習装置、識別装置、およびそのプログラム
・ 特開2017-33372 人物認識装置及びそのプログラム
(上記のリンクは開放特許DBにリンクしており、NHKエンジニアリングシステムのWebサイトから離れます)

≪キーワード≫オブジェクト認識 / 画像検索