授業科目名				担当教員
意味的マルチメディア処理特論				大渕　竜太郎
時間割番号	単位数	コース	履修年次	期別	曜日	時限
323211	2	(未登録)	1	集中	(未登録)	(未登録)
［概要と目標］
静止画や動画などのマルチメディア・データを中身に基づいて処理する技術が重要になってきた．デジタルカメラにおける顔認識，音楽や動画の内容による類似検索，形の類似性による3次元モデルの検索，自動車やロボットに積載するカメラ画像による人・自転車などの物体の認識，など，数多くの用途がある．<BR> 本科目では，2次元の静止画や動画のデータ，さらに3次元グラフィックスの形状データを対照に，これらをその内容と意味に基づいて処理するための技術について学ぶ．具体的には，まず，これらデータからの特徴抽出，さらに特徴に基づく画像や物体の比較，検索，認識の技術を概観する．ついで，機械学習などのアプローチを用いて比較や認識を高精度化，高速化する技術を学ぶ．<BR> 成績は全体で6回程度の小課題と，全体で1つのプロジェクト課題の結果で評価する．課題では，プロジェクト課題では，学んだ技術を統合し，最新の論文などを参考にしつつ，画像等の比較，検索，分類，認識等を行うシステムを作成し，これを発表する．
[到達目標]
＊マルチメディア情報に対する，意味を考慮した処理，例えば要約，認識，分類，検索，などの概要とその使い道について知る．<BR>＊静止画や動画などからの特徴抽出の手法，例えば，スケール，平行移動，回転などに対して不変な画像の局所特徴の抽出，これら局所特徴群のBag-of-Features法による統合，などの手法を理解する．<BR>＊意味や意図を考慮しつつ，静止画や動画から得られた特徴を比較，認識，分類する手法，例えば，ベクトル空間における比較や認識，機械学習に基づいて意味や意図を反映した比較や認識，などの手法を理解する．
［必要知識・準備］
課題とプロジェクトのためにCまたはC++によるプログラミングの能力が必要である．（プログラム作成したい言語がこれら以外，たとえばJavaなどの場合は教員に相談し許可をもらったうえで履修すること．）<BR>さらに，機械学習アルゴリズム，大規模線形計算，信号処理，画像処理，3次元グラフィックス，データ検索，のいずれか1つ以上の知識があると理解しやすい．
［評価基準］
No 評価項目 割合 評価の観点 1 小テスト／レポート  100  % プログラミングを含む5回の課題で評価する．
［教科書］
(未登録)
［参考書］
(未登録)
［講義項目］
1. マルチメディア・データの中身<BR>2. 物体，カメラモデル，OpenCV<BR>3. フィルタリング，周波数表現<BR>4. テンプレートマッチング，イメージピラミッド，フィルタバンク<BR>5. エッジ検出，顕著点検出<BR>6. Harris顕著点，DoGスケールスペース，SIFT特徴，Shape Context特徴<BR>7. 物体認識の歴史，Bag-of-Featuresによる特徴統合<BR>8. 課題の説明，機械学習<BR>9. 大規模画像認識と検索<BR>10. 空間的配置の照合，RANSAC法<BR>11. 機械学習，識別器，kNN識別器<BR>12. SVM, Randomized Forest<BR>13. 非線形次元削減による距離の学習<BR>14. 適合度フィードバック，高度な特徴統合法<BR>15. DNNによる認識，まとめ．