Kaggleに挑戦-24

Peking University/Baidu - Autonomous Driving

Can you predict vehicle angle in different settings?

＊1月21日の締め切りに向けて、お手本のプログラムコードを理解し、動かし、性能向上を図る。

・GPUの使用時間は本日、午前9時にリセットされる予定だ。

＊午前9時0分に、GPU使用時間がリセットされたのを確認した。

＊今日は、Focal lossを試したいと考えている。それが、収束するようであれば、lr_scheduler.StepLRを試したいと思う。

・まずは、Focal lossだ！

・Focal lossを組み込んだモデルをKaggle-kernelに読み込んで、InternetとGPUをONにしたが、Kernelは、GPU使用可能時間がゼロだと表示している。それでもRUNさせてみると、GPUの速度でプログラムは動いている。積算時間表示が30時間を超えたままなので、不安ではある。

・最初のエポックが20分弱で終了した。Lossが非常に小さい。小さすぎる。何かを見落としている可能性が高い。しかし、とにかく、最後まで走らせてみよう。

・2回目のエポックが終了した。Lossは1回目より小さい。しかしながら、mask_lossとreg_lossの和なので、mask_lossが想定通りに収束しているかどうかは、わからない。

・GPUの有難味が身にしみてわかった1週間であった。今のプログラムと環境では、計算速度に40倍の違いがある。

・GPUがKaggle-kernelに加わったのは2年前のようで、Tesla K80とのことだ。ある条件ではCPUの12.5倍であるとの記述がある。

・とりあえず、5回のエポックで終了した。しかし、commitボタンは、拒絶されたままである。GPUの使用時間オーバーが、リセットされていない。

・自分のページを表示して、リセットされていることを確認して、そこからnotebooksのページに行って、自分のkernelにあるプログラムのeditボタンをクリックすると、kernelが立ち上がり、GPUをONにすると、リセットされていて、今日使った約1.5時間がカウントされていた。commitもできる状態だったので、commitした。さて、1.5時間後に結果が表示されるだろうか。表示されたとして、どんな結果になっているだろうか。12時半ごろまで待つ。

＊Focal lossの導入結果はいかに！

・残念な結果になった。GPU消費時間が5時間に達したのだが、結果無し。

・Focal lossの正否も不明。

・実行中にエラーが発生した。そこを修正したつもりだったのだが・・・。

＊全て、やり直し！

・作業は完結したが、学習に失敗した。ゆえに、検出も失敗した。

・lossは1以下、スコアは、0.000である。

＊Focal lossの式を変更した。

・lossは1000以上、今回はテストデータの予測の前段階で、エラーが発生した。ということで、Focal lossの正しい式を組み立てられない。

・プログラムの全体を理解しておらず、一部の式だけ見ていてもだめだ、ということだろうか。

＊Focal lossの式を変更した。お手本の式がある程度収束しているので、そこからの小さな改善を試みるという方向に変えようとしているが、簡単ではない。

・Focal lossの考え方を持ち込んだつもりだったが、予測精度は悪化した。しかも、GPU使用時間は17時間35分、計算に要した時間よりも長いのは腑に落ちないが、これはどうしようもない。