昨日、最近作ったCNNモデルのファイルが壊れて、同じモデルの少し古いファイルをベースにして、新しいモデルに書き換えて計算したら、val_accの値が0.80から0.82に上がった。
このモデルは0.80が限界で、改善の方向が見えなくなっていただけに、小さいけど、大きな変化で、非常に嬉しかった。原因を調べてみると、なんと、optimizerが、優先的に使うようにしていたAdamではなく、RMSpropのままだったのである。
100エポックまでの残差とaccのグラフを見ると、Adamは、RMSpropよりも早くoverfittingの状態になっていたのである。今回は、Adamがうさぎ、RMSpropがカメでしょうか。RMSpropは、のろまだが、しっかり仕事してくれたようだ。
ということで、思い込みはだめで、いろいろ試してみましょう。
