1. 概要

画像検索の上で重要となる要素を「画像内容素」と包括的に定義し、プリミティブな画像内容素から意味的な画像内容素まで、抽象度の異なる画像内容を階層的に捉えるモデルに基づく、先進的な画像データベースの研究。

2. 画像内容素の階層モデルに基づいた画像データベースの内容検索

大量の画像を蓄積した画像データベースから所望の画像を的確に検索する技術、すなわち画像内容に基づく画像検索技術は、画像を有効に活用するための重要な技術として近年大きな注目を集めている研究分野である。しかし画像が本質的にパターンとしての情報を含むために、従来のテキストデータベースで用いられてきた検索技術だけでは満足のいく検索ができないことがある。つまり画像データベースの場合は、同一性の判定だけではなくパターンとしての類似度をも評価できる類似検索システムが要求される。さらに、「類似度」という概念には必然的に「ユーザの意図」や「ユーザの主観」といった概念が付随するため、類似検索問題では人間の感性までを含めた幅広い議論が必要となる。そこで本研究では、このような類似検索システムを階層的なモデルという方法論で捉える。この階層モデルは、具体的には以下のように、垂直方向には5層、水平方向には3要素から構成されている。

レイヤ 画像内容素 アルゴリズム
5. 意味レイヤ 画像の意味や人間の感性・主観を表す特徴素 進化的計算論
4. 関係レイヤ 領域間の関係を表す特徴素 階層化属性付きグラフマッチング(画像表現モデル)
3. 領域レイヤ 領域の形状や構造を表す特徴素 形状分解(複雑形状の表現)
2. 画素レイヤ 画素単位の分類や分割によって付与されるクラスまたはラベル 統計的パターン認識
1. 観測レイヤ センサを通して実世界を観測(加えて種々の画像補正を適用)して得られた画素配列 衛星センサ、幾何補正

このように、垂直方向の5層は上層ほど抽象度が高いという構成になっており、それぞれの層では「画素」や「領域」・「関係」などが画像内容素となっている。一方水平方向の3要素は、各層において画像内容素を抽出するための「アルゴリズム」、抽出結果を記述するための「表現形式」、さらに画像内容素の類似度(距離)を計算するための 「マッチング」の3要素から構成されている。このモデルは、モデル全体(アーキテクチャ)の各要素を問題領域に応じて適切に実装するための枠組であり、それと同時に個々の問題領域による相違を越えて統一的な方法で画像データベースを構築するための方法論ともなる。

従来の画像検索手法では、画素単位を対象とした検索機能、あるいは大局的な構造を対象とした検索手法は別々に提案されているものの、画素単位から大局的な構造に至る統一的なフレームワークの構築に関する研究は、いまだ発展途上である。ユーザの多様な検索要求を適切に分類し処理できるような内容検索システムを上記のモデルに基づき構築し、具体的には衛星画像を題材とした大規模で高度な画像データベースを実現していくことが、研究の目標である。

3. デモンストレーション

  1. デジタル台風
  2. デジタル台風:類似画像検索
  3. 「東洋文庫所蔵」図像史料マルチメディアデータベース:類似画像検索

4. 参考文献(全リスト

  1. 北本 朝展, "画像内容に基づく検索技術に対する期待と現実", 第11回人間文化研究機構情報資源共有化研究会, 2016年02月 (招待講演) [ 概要 ]
  2. 北本 朝展, "チュートリアル:画像解析入門〜簡単なこと、困難なこと〜", 情報システム研究機構・新領域融合研究センター 若手研究者クロストーク, 2006年03月 [ 概要 ]
  3. 北本 朝展, "データマイニングのためのデータ再配列エンジン", 電子情報通信学会技術報告, Vol. PRMU2003-78, pp. 19-24, 2003年09月 [ 概要 ] [ PDF ]
  4. 北本 朝展, 高木 幹雄, "進化的計算論に基づく対話的な画像散策法", 第4回知能情報メディアシンポジウム, pp. 173-180, 1998年12月 [ 概要 ] [ PDF ]
  5. 北本 朝展, 高木 幹雄, "待ち行列型遺伝的アルゴリズムを用いた対話的な画像散策法", 人工知能学会誌, Vol. 13, No. 5, pp. 728-738, 1998年09月 [ 概要 ]
  6. 北本 朝展, 高木 幹雄, "類似画像検索システム構築のフレームワークとしての階層モデル", 電子情報通信学会技術報告, Vol. PRMU97-58, pp. 25-32, 1997年07月 [ 概要 ] [ PDF ]
  7. 北本 朝展, "領域・空間情報を表現するグラフ構造を用いた類似画像検索", 東京大学工学系研究科電子工学専攻博士論文, 1997年03月 [ 概要 ]
  8. Asanobu KITAMOTO, Mikio TAKAGI, "Retrieval of Satellite Cloud Imagery Based on Subjective Similarity", Proceedings of the 9th Scandinavian Conference on Image Analysis (SCIA'95), pp. 449-456, 1995年06月 (in English) [ 概要 ] [ PDF ]