こんにちは。
突然ですが、勉強します。その名も
E資格
です。
E資格ってのは
＞ディープラーニングの理論を理解し、適切な手法を選択して実装する能力や知識を有しているかを認定する。（一般社団法人日本ディープラーニング協会HPより）
ってもの。つまりE資格を持っていれば
・画像から不良品の検出をするシステム
・会話文を作るチャットボット
のように何かの課題に合わせてディープラーニングを実装できると証明される資格でございます。
今年の頭らへんから勉強をして8月に検定を受ける予定だったのですが、コロナにより中止。来年の二月に延期してしまいましたorz
んで試験の受験資格も取れたのでしばらく放置していたのですが、記憶もあやふやになっており、弊ブログに記事を投稿しようとした次第です。
これから結構な記事数投稿すると思いますが、ディープラーニングってこんなもんなんだ～とわかっていただければ幸いです。
余談ですがE資格を持っているよりGithubで制作物乗せたほうが能力の証明になるのも事実。結局のとこ「自分は学習意欲ありますよ！」っていう意欲の証明ってのが今のE資格の立ち位置かなぁと考えています。
間違い、わかりにくい点があればコメント欄に書き込んでください。
お品書き
DeepLearningの歴史
AI、DeepLearning、機械学習、Github、Push・・・。
知らない用語があふれて頭がシンギュラリティしそうなこのご時世ですが、本記事ではDeep Learningとはなんぞや、そもそもどういった背景があってDeep Learningは開発されたのかお話します。
第1次ニューラルネットワークブーム
1957年、ローゼンブラットという方がパーセプトロンというアルゴリズムを提案します。パーセプトロンとは複数の入力から一定の値を超えるか否かで０か1を出力するものを指します。
画像引用：
パーセプトロン | ニュートラルネットワークの基本アルゴリズム
（補足：McCullochとPittsという研究者が1943年にパーセプトロンの原形のようなものを考案しています）
ここのΣと活性化関数の部分を合わせて人工ニューロンと呼んだりします。脳の中にあるニューロンと構造が似ているのでそう名付けられたそうです。
このパーセプトロンは学習できるらしくブームが起こります。ここでの学習というのは
・入力データに対して出力データの値を正解の値に近づくよう重みwを調整すること
を指します。またこの人工ニューロンを何個も重ねたものをニューラルネットワークと言います。（アルゴリズムを多層パーセプトロンといいます。）
ニューラルネットワークの一例
（画像引用：同上）
このパーセプトロンが万能そうに見えますが、解けるのは線形問題（y=axの形で表せるもの）だけ。世の中の多くを占める非線形の問題が解けなく、ブームが終わります。
第2次ニューラルネットワークブーム
第一次ニューラルネットワークブームの時点で非線形問題が解けるのは分かっていましたが、実装ができませんでした。
そこで開発されたのが誤差逆伝播法（Backpropagation）です。この誤差逆伝搬法の発見により第二次ニューラルネットワークブームが到来します。
ちなみにニューラルネットワークのうち、一方通行でループがないものをFeed-forward NN（順伝播型ネットワーク）、4層以上重ねるものを後述するDeep Learningと呼びます。
んでひたすら層を増やしまくったら性能が上がるのでは・・・と皆さん考え研究をします。しかし、当時のPCの性能があまりよくなかったり、情報やシステムが整えられなかったり、意外と層を増やしたところでうまくいくものではないらしく、結局ブームが終わります。
第3次ニューラルネットワークブーム
もはや終わったかと思われたニューラルネットワークブーム、ところがまた復活します。
2012年の画像認識コンテスト「ILSVRC（ImageNet Large Scale Visual Recognition Challenge）」でこれまでより間違いが少ないモデルが優勝します。そのモデルが「Deep Learning」でございます。ちなみに層は7層、非常にDeepです。
この画像コンテストで再びニューラルネットワーク、はたもやDeep Learningが注目されます。
そして今日に至るまでテスラ社の自動運転、Googleの画像認識、スマートスピーカーの音声認識などなどさまざまなモデルが開発されるのです。
今日はここまで。次回はDeep Learningの学習方法についてお話します。
参考文献
麻生英樹. "ニューラルネットワークの数理的性質 (< 特集>「ニューラルネットワーク」)." 人工知能 4.2 (1989): 128-134.