授業科目名				担当教員
意味的マルチメディア処理特論				関口　芳廣／大渕　竜太郎
時間割番号	単位数	コース	履修年次	期別	曜日	時限
323211	2	(未登録)	1	後期	月	III
［概要と目標］
近年，音声や動画，3次元グラフィックスなどのマルチメディアデータが蓄積され，またインターネット上で流通するようになった．これに伴い，要約，認識，分類，検索，照合，など，単純なビットレベルでの処理では不可能な，意味や内容に基づいたマルチメディアデータの処理が重要になってきた．<BR> 本科目では，マルチメディアデータを対象に，内容や意味に基づく処理を行うための技術について講義する．前半では1次元の時系列データである音声データを対象に，その取り込みや分析，特徴抽出，時系列類似比較に基づく認識，などを解説する．後半では， 2次元画像や動画像，さらに3次元グラフィックスデータを対照に，特徴抽出，特徴の比較や分類などの技術を解説する．<BR> 具体的には，音や画像などの信号処理，特に変換領域における処理と特徴抽出，特徴やその時系列の類似比較や分類などについて学ぶ．<BR> 成績は定期試験，中間試験，および全体で6回程度課す課題に対する報告書及び出席状況で評価する．課題では，音声処理，画像処理，データ検索，機械学習，などの実際を演習し，それらの理解を助けるとともに，その理解度を評価する．
[到達目標]
＊マルチメディア情報に対する，意味を考慮した処理，例えば要約，認識，分類，検索，などの概要とその使い道について知る．<BR>＊音声や画像データの取り込みと分析に関わる，量子化やサンプリングなどの手法を理解する．<BR>＊音声や画像データの特徴抽出の手法，例えばフーリエ解析，ケプストラム，多重解像度解析，等，複数の手法を理解する．<BR>＊音声や画像データから得られた特徴を照合する手法，例えば，DPマッチング，ベクトル空間における各種の距離尺度による照合，機械学習に基づく特徴空間や意味空間における照合，等を理解する．
［必要知識・準備］
課題を行うためにCまたはC++によるプログラミングの能力が必要である．（プログラム作成できる言語がそれ以外の言語，たとえばJavaなどの場合は教員に相談し許可をもらったうえで履修すること．）<BR>さらに，信号処理，音声情報処理，画像処理，3次元グラフィックス，データ検索，学習アルゴリズム，のいずれか1つ以上の知識があると理解しやすい．
［評価基準］
No 評価項目 割合 評価の観点 1 小テスト／レポート  100  % 全体で8回程度の課題を課す．おもにプログラミングを伴う課題で，具体的手法を実装し実験することによりことにより理解を深める．
［教科書］
(未登録)
［参考書］
(未登録)
［講義項目］
1．意味に基づくマルチメディア・データの処理<BR>2. 2次元画像・動画像と3次元グラフィックスデータの処理<BR>3. 2次元画像データの特徴分析（１）<BR>4. 2次元画像データの特徴分析（２）<BR>5. 2次元画像特徴の比較・照合（１）<BR>6. 2次元画像特徴の比較・照合（２）<BR>7. 学習による比較・照合<BR>8．意味と意図を取り入れた比較・照合 <BR>9. 音声による人間と機械の対話<BR>10. 音声データの取り込みと前処理<BR>11. 音声データの特徴分析（１）<BR>12. 音声データの特徴分析（２）<BR>13. 音声データの特徴比較・照合（１）<BR>14. 音声データの特徴比較・照合（２）<BR>15. 人に適応するマルチメディア処理，まとめ．