【深層学習の数理】ResNetはなぜ「勾配消失」と「劣化問題」を解決できたのか? 深層学習(Deep Learning)において、「層を深くする」ことは性能向上の鍵です。しかし、2015年にResNetが登場するまで、100層を超えるようなネットワークの学習は不可能とされてきました。 なぜでしょうか?単に計算量が足りなかったからではありません。そこには、ニューラルネットワークの数学的構造に起因する「勾配消失」と「劣化問題」という2つの大きな壁が存在したからです。 本記事では、AIエンジニアとして基礎から理解するために、これらの現象を数学の最小単位(微分と連鎖律)から解説し、ResNetがどのよ…