授業科目名				担当教員
意味的マルチメディア処理特論				大渕　竜太郎
時間割番号	単位数	コース	履修年次	期別	曜日	時限
323211	2	(未登録)	1	後期	月	III
［概要と目標］
静止画や動画などのマルチメディア・データを中身に基づいて処理する技術が重要になってきた．デジタルカメラにおける顔認識，音楽や動画の内容による類似検索，形の類似性による3次元モデルの検索，自動車やロボットに積載するカメラ画像による人・自転車などの物体の認識，など，数多くの用途がある．<BR> 本科目では，2次元の静止画や動画のデータ，さらに3次元グラフィックスの形状データを対照に，これらをその内容と意味に基づいて処理するための技術について学ぶ．具体的には，まず，これらデータからの特徴抽出，さらに特徴に基づく画像や物体の比較，検索，認識の技術を概観する．ついで，機械学習などのアプローチを用いて比較や認識を高精度化，高速化する技術を学ぶ．<BR> 成績は全体で6回程度の小課題と，全体で1つのプロジェクト課題の結果で評価する．課題では，プロジェクト課題では，学んだ技術を統合し，最新の論文などを参考にしつつ，画像等の比較，検索，分類，認識等を行うシステムを作成し，これを発表する．
[到達目標]
＊マルチメディア情報に対する，意味を考慮した処理，例えば要約，認識，分類，検索，などの概要とその使い道について知る．<BR>＊静止画や動画などからの特徴抽出の手法，例えば，スケール，平行移動，回転などに対して不変な画像の局所特徴の抽出，これら局所特徴群のBag-of-Features法による統合，などの手法を理解する．<BR>＊意味や意図を考慮しつつ，静止画や動画から得られた特徴を比較，認識，分類する手法，例えば，ベクトル空間における比較や認識，機械学習に基づいて意味や意図を反映した比較や認識，などの手法を理解する．
［必要知識・準備］
課題とプロジェクトのためにCまたはC++によるプログラミングの能力が必要である．（プログラム作成したい言語がこれら以外，たとえばJavaなどの場合は教員に相談し許可をもらったうえで履修すること．）<BR>さらに，信号処理，画像処理，3次元グラフィックス，データ検索，機械学習アルゴリズム，大規模線形計算，のいずれか1つ以上の知識があると理解しやすい．
［評価基準］
No 評価項目 割合 評価の観点 1 小テスト／レポート  100  % 6回程度の小課題と，1回のプロジェクトの結果で評価する．
［教科書］
(未登録)
［参考書］
(未登録)
［講義項目］
1. マルチメディア・データの中身<BR>2. プロジェクトの説明<BR>3. 画像の低レベル解析<BR>4. 画像特徴<BR>5. 画像特徴の統合と利用<BR>6. 画像の比較，検索，認識(1)<BR>7. 画像の比較，検索，認識(2)<BR>8. プロジェクト中間発表<BR>9. 高精度化と機械学習<BR>10. 空間的構造の利用<BR>11. 時間的構造の利用<BR>12. 意味と意図の反映<BR>13. 大規模化<BR>14. プロジェクト最終発表(1)<BR>15. プロジェクト最終発表(2), まとめ．