16『画像の機械学習_NNとCNNの学習比較』

同じ画像データ(12×12)を用いて、NNとCNNによる多項分類('B','T','I'の判定)の学習過程を比較した。誤差はクロスエントロピー誤差、SGD法(学習率0.01)は共通。テストデータは同じものを20サンプル使用した。著しい差とまではいかないが、CNNの方が学習が早く安定しており、正解率もよい。

NN: 画像を12x12=144の数列(Linear)にして、144→28→10→5→3の全結合層のみからなるモデル。（青線）

CNN: サイズ3×3のカーネル(フィルター)にて畳み込み→プーリング→畳み込み→これを数列(Linear)にして144→28→3の全結合層、のモデル。（オレンジ色）