Predicting Molecular Properties-4
＊1週間程度の予定で、過去のKaggleコンペ、Predicting Molecular Properties、に取り組む。
＊目的は、DNNがどのような課題に対して、どのように貢献できるのかを、実例を通して学ぶこと。
＊今回は、まず、グラフネットワークを理解し、次に、GilmerのMPNNを読み込み、その後で、コードの理解に進むという流れにしようと思う。
＊今日は、グラフネットワークを理解すること。
Relational inductive biases, deep learning, and graph networks
P. W. Battaglia et al., arXiv:1806.01261v3 [cs.LG] 17 Oct 2018
＊この論文を1日中読み続ければ、グラフネットワークの何たるかがわかるかもしれない。
・表1の一番下にあるのがグラフネットワークで、CNNやRNNとの違いがなんとなくわかるような気がする。
・図1は、これまでの代表的な3つのモデルを模式的に表現したもの。
・図2は、グラフ表現の例、分子モデル、多体系、分子動力学モデル？、・・・。
・Box 3は、グラフの定義：G = (u, V, E)
・Algorithm 1：Φ：update function, ρ：aggregate function
・図3は、edge updateとnode updateとglobal updateの模式図
・図4は、GNの内部構造：E:edge, V:node, u:global, Φ:update, ρ:aggregate
・図5は、図4（d）のNLNNの詳細
・ 図6は、GNブロックの組合せの例の模式図
・図7は、message passingの模式図
＊GilmerらのMPNNとは、用語が異なっているということで、対応関係の説明がある。これは、次にGilmerらの論文を読むうえで参考になりそうで有難い。
・the message function, Mt, plays the role of the GN's Φe, but does not take u as input,
・elementwise summation is used for the GN's ρe->v,
・the update function, Ut, plays the role of the GN's Φv,
・the readout function, R, plays the role of the GN's Φu, but does not take u or E' as input, and thus an analog to the GN's ρe->u is not required;
・dmaster serves a roughly similar purpose to the GN's u, but is defined as an extra node connected to all others, and thus does not influence the edge and global updates directly. It can then be represented in the GN's V.
＊こんなもんかな。
＊次はGilmerらのMPNNだ。
Neural Message Passing for Quantum Chemistry
J. Gilmer, S. S. Schenholz, P. F. Riley, O. Vinyals and G. E. Dahl
2017, arXiv preprint arXiv:1704.01212.
・計算に用いられているデータベースは、QM9 Datasetで、当該分野ではよく知られている。Kaggle databaseにも登録されている。
・QM9は、コンペのデータベースと似ているところもあるが、スカラーカップリングは含まれていない。
・ 意気込んだ割には、理解は進まなかった。
＊明日は、これら2件の論文と見比べながら、プログラムコードを理解する。
つづく
