授業科目名	マルチメディア工学
時間割番号	TJM315
担当教員名	西﨑　博光／ﾚｵ ﾁｰ ｼｬﾝ
開講学期・曜日・時限	前期・金・III	単位数	2
＜対象学生＞
教室の収容人数の関係で履修者を最大70名までに制限します。
＜授業の目的＞
情情報通信技術（ICT）の進化とともに，音声（音）・テキスト（文字）・画像（映像）といった情報メディアを対象とした処理技術も急速に発展している。Web検索や音声認識などがその代表技術であると言える。近年，人工知能という言葉が広く一般に浸透しているが，人工知能の根幹をなすのが，これらマルチメディア情報を対象とした深層学習（ディープラーニング）技術である。これからの「ものづくり」では，機械や電気の知識だけではなく，人工知能・メディア情報処理の知識も必要となることは必然である。よって本授業では，Python言語によるプログラミング演習を交えながら，マルチメディア情報（音声（音）・自然言語・画像）を対象とした深層学習技術の知識を習得することを目指す。
＜本授業科目による獲得・涵養が特に期待されるコンピテンシー＞（能力・資質）
工学部(～2023年度入学生)>機械工学科向け 工学部(～2023年度入学生)>電気電子工学科向け 工学部(～2023年度入学生)>コンピュータ理工学科向け 記号 コンピテンシー（能力・資質）   CS-A 専門 5.時代の変化に対応できるよう、最新の技術動向を考慮して、自律的・継続的に学習できる。 ◎ 工学部(～2023年度入学生)>メカトロニクス工学科向け 記号 コンピテンシー（能力・資質）   JM-A 専門 2.三分野での活躍を目指す技術者・研究者にとって必要な基礎知識と技術 C言語による基本的（データ型、制御構造、関数等）なプログラムが作成でき、組込み用マイコンの基本的なI/O制御プログラムをマイコンの概要と動作の理解の上で作成できる。 ○ JM-B 3.三分野のうち、一つ以上のより専門的な技術と知識。少なくとも一分野の技術と知識を十分に身につけ、さらに一つ以上の分野の技術と知識も身につける。 2.電気分野 動的変数、再帰関数などを用いた線形リスト、木構造、ソートのプログラムが書ける。 ○ JM-C 3.情報分野 動的変数、再帰関数などを用いた線形リスト、木構造、ソートのプログラムが書ける。 ○ JM-D 組込みシステムにおいて、ソフトウェアを開発することができる。 ○ JM-E 4.三分野の知識を利用した分野をまたがった活用 研究・開発の目的を十分理解した上で、その目的に応える問題解決ができる。 ○ JM-F 5.研究・開発工程を把握・設計できる基礎技術と、研究・開発遂行に必要なコミュニケーション能力の習得 課題を解決するための提案、デザイン、手順を含む構成要素を議論でき、それに基づいて実行できる。 ◎
＜到達目標＞  到達目標とは
目標NO 説明 コンピテンシーとの対応 CS JM 1 C言語と対比させながらPython言語のプログラミング技術を学び，C言語と同様にPython言語でもプログラミングが書けるようになること。 － JM-A 2 Python言語を用いて，電気部品画像やセンサーから取得したデータを処理するためのプログラムができること。 － JM-B 3 Python言語を用いて，映像・音声などのマルチメディアデータを処理するためのプログラムができること。 － JM-C 4 Pythonを用いて，人工知能（深層学習）プログラミングができること。 － JM-D 5 設定した課題を，人工知能（深層学習）技術を用いて解決するための方法を設計できること。 CS-A JM-F 6 設定した課題を，人工知能技術（プログラミング）を用いて実装できること。 CS-A JM-E
＜成績評価の方法＞
目標No 割合 評価の観点 1 5% 単元ごとのプログラミング演習課題で評価する。 2 5% 単元ごとのプログラミング演習課題，およびレポート課題で評価する。 3 5% 単元ごとのプログラミング演習課題，およびレポート課題で評価する。 4 5% 単元ごとのプログラミング演習課題，およびレポート課題で評価する。 5 40% レポート課題で評価する。自ら設計した課題を，正しく解決するための方法が設計できているかを評価する。 6 40% レポート課題で評価する。自ら設計した課題を，正しく解決するための方法が実装できているかを評価する。 合計 100%
＜授業の方法＞
教育・授業方法は次のとおりである。 ・履修者がプログラミングを行う，アクティブラーニングを採用する。 ・単元毎に解説を行ったあとに，プログラミングを行う。コードについて，担当教員が解説を行う。書いたプログラムは，実行結果とともに提出する。 ・授業の途中もしくは授業後に，演習課題の提出を要求することがあるので，決められた時間内に取り組み提出する。 本授業の評価は，授業毎に実施する演習課題もしくはプログラムの提出状況，および2回のレポートで行う予定である。 ・教員側から与えた問題をより高い水準で解決する方法を自ら考え，実装する力をレポートで問う。 ・教員側から与えたより高度な問題を高い水準で解決する方法を自ら考え，実装する力をレポートで問う。
＜受講に際して・学生へのメッセージ＞
深層学習は，情報理論，確率統計学（数学），線形代数，プログラミングの基礎知識が必要である。人工知能に関するプログラミングでは，プログラム言語Pythonを用いることが一般的になっているため，本科目でもPythonを利用する。よって，Python言語ができることが望ましい。ただし，Pythonのプログラミング経験がなくても，授業内で簡単な説明を行う予定である。なお，いずれかの言語によるプログラミングが苦手な学生は，単位の習得は難しいと思われる。 本科目では，担当講師が用意したスライドを用いるため，教科書は指定しない。深層学習に関する書籍は数多とあるため，特に特定の参考文献はあげないが，適宜参考にすると良い。不足している情報は，Webの情報を見るように指示することもある。
＜テキスト＞
(未登録)
＜参考書＞
(未登録)
＜授業計画の概要＞
1 タイトル マルチメディア工学の概要と人工知能（歴史・応用分野・社会実装） 事前学習 事後学習 事前学習：なし 事後学習：演習課題 授業内容 本授業で扱うマルチメディアについての説明と，および人工知能技術の歴史，どのようなところ（社会）で利用されているのか，人間との係わり，などについて解説を行う。人工知能について理解し，説明できるようになることを達成目標とする。 2 タイトル Pythonプログラミング入門 事前学習 事後学習 事前学習：これまで学んだプログラミングを復習しておく 事後学習：プログラミング課題 授業内容 C言語など，他の授業で学んだプログラミング言語と対比させながらPython言語のプログラミングを学ぶ。C言語等と同様に，Python言語でもプログラミングが書けるようになることを達成目標とする。 3 タイトル 機械学習とニューラルネットワーク 事前学習 事後学習 事前学習：なし 事後学習：演習課題 授業内容 一般的な機械学習について概説し，ニューラルネットワークを用いた機械学習（深層学習）の仕組みを説明する。従来の機械学習と深層学習の違いや，深層学習の仕組みを理解し，説明できることを達成目標とする。 4 タイトル 深層学習プログラミング基礎 事前学習 事後学習 事前学習：Python言語の復習 事後学習：プログラミング課題 授業内容 3回目で学んだ深層学習の知識を用いて，Pythonを用いた深層学習のプログラミング方法を説明し，実際にプログラミングを行う。簡単な深層学習プログラムが書けるようになることを達成目標とする。 5 タイトル 画像処理および画像データを扱うニューラルネットワーク 事前学習 事後学習 事前学習：Python言語の復習 事後学習：プログラミング課題 授業内容 マルチメディアデータの1つである画像に対する一般的な処理方法を概説する。また，画像データを入力とするニューラルネットワーク構築方法を説明し，プログラミングを行う。画像データを入力とする深層学習プログラムが書けるようになることを達成目標とする。 6 タイトル 画像処理に強い，畳み込みニューラルネットワーク 事前学習 事後学習 事前学習：5回目の授業内容の復習 事後学習：プログラミング課題 授業内容 画像処理に特化したニューラルネットワークの一つである畳込みニューラルネットワークについて説明し，これを用いたプログラミングを行う。畳込みニューラルネットワークを用いたプログラムが書けるようになることを達成目標とする。 7 タイトル 分類モデルと回帰モデル 事前学習 事後学習 事前学習：6回目の授業内容の復習 事後学習：プログラミング課題 授業内容 抵抗器の画像を使った分類モデルと回帰モデル，それぞれの構築方法を説明する。分類モデルと回帰モデルの違いを理解し，これらを構築するプログラムが書けるようになることを達成目標とする。 8 タイトル 訓練過程の可視化，過学習抑制法とデータ拡張技術 事前学習 事後学習 事前学習：7回目までの授業内容の復習 事後学習：プログラミング課題・レポート課題 授業内容 深層学習モデルの精度を高める方法について，特に過学習抑制法とデータ拡張技術を説明する。これらの技術を用いた深層学習プログラムが書けるようになることを達成目標とする。 9 タイトル 時系列データに対する再帰型ニューラルネットワーク 事前学習 事後学習 事前学習：8回目までの授業内容の復習 事後学習：プログラミング課題 授業内容 センサーから取得した時系列データ（時間によって変化するデータ）を深層学習するための再帰型ニューラルネットワークについて説明し，そのプログラミングを行う。再帰型ニューラルネットワークを用いたプログラムが書けるようになることを達成目標とする。 10 タイトル 音・音声信号処理基礎 事前学習 事後学習 事前学習：Pythonの復習 事後学習：プログラミング課題 授業内容 マルチメディアデータとしてよく扱われる，音や音声信号の解説とこれらの処理方法について概説し，実際にこれらを処理するためのプログラミングを行う。深層学習の事前処理として音・音声処理のプログラムが書けるようになることを達成目標とする。 11 タイトル 深層学習を用いた音声信号の分類：話者認識と単語分類 事前学習 事後学習 事前学習：10回目の授業内容の復習 事後学習：プログラミング課題 授業内容 音声信号を扱う深層学習の例として，話者認識と音声単語分類タスクに取り組む。これらのタスク（課題）を解決できるプログラムが書けるようになることを達成目標とする。 12 タイトル 自然言語処理基礎（形態素解析）とニューラルネットワークを使った単語分散表現 事前学習 事後学習 事前学習：Pythonの復習 事後学習：プログラミング課題 授業内容 マルチメディアデータの一つである，テキストデータを扱う方法に関して，代表的な処理である，形態素解析について説明する。また，深層学習を用いた単語の意味表現（分散表現）方法についても説明を行い，これらのプログラミングを行う。形態素解析や単語分散表現を求めるプログラムが書けるようになることを達成目標とする。 13 タイトル 再帰型ニューラルネットワークを用いた言語モデルとこれを用いた自動作文 事前学習 事後学習 事前学習：9回目の授業内容の復習 事後学習：プログラミング課題 授業内容 再帰型ニューラルネットワークを用いて，言語モデル（単語の繋がり方）を訓練する方法を説明し，そのプログラミングを行う。これを用いた自動作文方法についてのプログラミングも実施する。これらのプログラムが書けるようになることを達成目標とする。 14 タイトル エンコーダ・デコーダモデルによる機械翻訳 事前学習 事後学習 事前学習：12・13回目の授業内容の復習 事後学習：プログラミング課題 授業内容 エンコーダ・デコーダと呼ばれるニューラルネットワークモデルを用いた機械翻訳モデルを説明し，このプログラミングを行う。簡単な機械翻訳モデル訓練するためのプログラムが書けるようになることを達成目標とする。 15 タイトル 深層学習用データセット 事前学習 事後学習 事前学習：これまでのすべての内容の復習 事後学習：プログラミング課題・レポート課題 授業内容 深層学習用の様々なデータセットについて概説する。履修者は，各データセットがどのような問題を解決しようとしているのかを考え，それを解決するための深層学習モデルを訓練する。これについてレポートにまとめる。 16 タイトル 事前学習 事後学習 授業内容 17 タイトル 事前学習 事後学習 授業内容 18 タイトル 事前学習 事後学習 授業内容 19 タイトル 事前学習 事後学習 授業内容 20 タイトル 事前学習 事後学習 授業内容 21 タイトル 事前学習 事後学習 授業内容 22 タイトル 事前学習 事後学習 授業内容 23 タイトル 事前学習 事後学習 授業内容 24 タイトル 事前学習 事後学習 授業内容 25 タイトル 事前学習 事後学習 授業内容 26 タイトル 事前学習 事後学習 授業内容 27 タイトル 事前学習 事後学習 授業内容 28 タイトル 事前学習 事後学習 授業内容 29 タイトル 事前学習 事後学習 授業内容 30 タイトル 事前学習 事後学習 授業内容
＜前年度授業に対する改善要望等への対応＞
・資料に誤りがあるとの指摘があったため，配布資料をブラッシュアップし，昨年度と同様に実施予定。 ・プログラミングの実行回数が多いものが有利という指摘があったため，レポート出題から提出までの期間を長めに設定する。
＜備考＞
・授業の進捗状況によっては，実施内容を変更することがあることを予めご了承いただきたい。 ・本授業では，ビジネスコミュニケーションツール「Slack」を利用して，担当教員と履修生とのコミュニケーションをはかる予定である。授業開講前に，履修者にはSlack参加の招待を出すので，各自で参加手続きをしておくこと。