This is the core idea that I believe will propel generative modeling into the spotlight in the next decade, as one of the keys to unlocking artificial general intelligence.
Attensionを理解するには、自然言語処理における切り札的な存在として認識するのがよさそうなので、A. Geronさんの2019年のテキスト：Hands-On Machine Learning with Scikit-Learn, Keras & TensorFlow, 2nd Edition Updated for TensorFlowを使って勉強しようと思う。
Chapter 16 Natural Language Processing with RNN and Attension
attention mechanismのオリジナル論文
NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE Dzmitry Bahdanau Jacobs University Bremen, Germany KyungHyun Cho Yoshua Bengio Universit´e de Montr´eal
attentionの単語は、この論文の中では、直上に張り付けた文章の下から4行目と5行目に3回出てくるだけである。”a mechanism of attension, pay attention to, attention mechanism”
Each multi-head attention block gets three inputs; Q (query), K (key), V (value). These are put through linear (Dense) layers and split up into multiple heads.
The scaled_dot_product_attention defined above is applied to each head (broadcasted for efficiency). An appropriate mask must be used in the attention step. The attention output for each head is then concatenated (using tf.transpose, and tf.reshape) and put through a final Dense layer.
Instead of one single attention head, Q, K, and V are split into multiple heads because it allows the model to jointly attend to information at different positions from different representational spaces. After the split each head has a reduced dimensionality, so the total computation cost is the same as a single head attention with full dimensionality.
A. Geronさんは、2018年にELMo, ULMFiT, GPT, BERTなどの論文が出て、自然言語処理はLSTMからTransformersに移行したように見えるかもしれないが、進歩は非常に速く、2019年にかけて、CNNやRNNによる興味深い論文が出版されるなど、来年どうなっているかは誰にもわからないだろうと述べている。
Chapter 17 Representation Learning and Generative Learning Using Autoencoders and GANs
Efficient Data Representations
Performing PCA with an Undercomplete Linear Autoencoder
＊急遽、方針転換。A. Geronさんのテキストは、盛りだくさんの裏返しで、コードについての説明が少なく、また、実用上のノウハウが少ないように思うので、F. CholletさんのDeep Learning with Pythonに戻る。といっても1からではなく、まずは、GANから。
＊これでGANの基本を学んでから、D. FosterさんのGenerative Deep LearningのVAE及び最新のGANを学びたいと思う。Kaggleにはいつ戻れるのか。
8.5 Introduction to generative adversarial networks
重要なところを転記する。
Remarkably, a GAN is a system where the optimization minimum isn't fixed, unlike in any other training setup you've encountered in this book. Normally, gradient descent consists of rolling down hills in a static loss landscape. But with a GAN, every step taken down the hill changes the entire landscape a little. It's a dynamic system where the optimization process is seeking not a minimum, but an equilibrium between two forces. For this reason, GANs are notoriously difficult to train - getting a GAN to work requires lots of careful tuning of the model architecture and training parameters.
手元に、こんな本がある。ARTIFICIAL INTELLIGENCE A MODERN APPROACH : YOSHUA HINTON AND GEOFFREY BENGIO。昨年の8月にAmazonで購入したものだが、2名の大御所が書かれたものと思い込み、意気込んで、最後の方まで読んだ。しかし、なにか違う。研究者が、引用文献を一切示さずに文章を書くなんてありえないだろう。そう思いつつも、Chapter 8 The Future of AI、ふむふむAIの将来を大御所がどう見ているのか、と期待して読み進んだ。なんと、SFが4作ほど紹介されているだけ。騙されました。
コンペのDiscussionで見かけた”Manual Coding for the First 10 Tasks @nagiss”が、F. Cholletさんの言う、10の課題についてのハードコードから始めるのが良い、とのアドバイスにしたがって、忠実に作業された成果のようで、非常に良くできているので参考にさせていただく。
A hypothetical ARC solver may take the form of a program synthesis engine that uses the demonstration examples of a task to generate candidates that transform input grig into corresponding output grids.
Schematically:
・Start by developing a domain-specific language (DSL) capable of expressing all possible solution programs for any ARC task.
Since the exact set of ARC tasks is purpously not formally definable, this may be challenging (the space of tasks is defined as anything expressible in terms of ARC pairs that would only involve Core Knouledge).
It would require hard-coding the Core Knouledge priors from III.1.2 in a sufficiently abstract and combinable program form, to serve as basis functions for a kind of "human-like reasoning DSL".
We believe that solving this specific subproblem is critical to general AI progress.
・Given a task, use the DSL to generate a set of candidate programs that turn the input grids into the corresponding output grids.
This step would reuse and recombine subprograms that previously proved useful in other ARC tasks.
・Select top candidates among these programs based on a criterion such as program simplicity or program likelihood (such a criterion may be trained on solution programs previously generated using the ARC training set).
Note that we do not expect that merely selecting the simplest possible program that works on training pairs will generalize well to test pairs (cf. our definition of generalization difficulty from II.2).
・Uses the top three candidates to generate output grids for the test examples.
III.1.2 Core Knouledge priors
Any test of intelligence is going to involve prior knowledge. ARC seeks to control for its own assumptions by explicitly listing the priors it assumes, and by avoiding reliance on any information that isn't part of these priors (e.g. acquired knowledge such as language). The ARC priors are designed to be as close as possible to Core Knoledge priors, so as to provide a fair ground for comparing human intelligence and artificial intelligence, as per our recommendations in II.3.1.
The Core Knowledge priors assumed by ARC are follows:
a. Objectness priors:
Object cohesion: Ability to parse grids into "objects" based on continuity criteria including color continuity or spatial contiguity (figure 5), ability to parse grids into zeros, partitions.
Object persistence: Objects are assumed to persist despite the presence of noise (figure 6) or occulution by other objects. In many cases (but not all) objects from the input persist on the output grid, often in a transformed form. Common geometric transformations of objects are covered in category d, "basic geometry and topology priors".
Object influence via contact: Many tasks feature physical contact between objects (e.g. one object being translated until it is in contact with another (figure 7), or a line "growing" until it "rebounds" against another object (figure 8).
b. Goal-directedness prior:
While ARC does not feature the concept of time, many of the input/output grids can be effectively modeled by humans as being the starting and end states of a process that involves intentionality (e.g. figure 9). As such, the goal-directedness prior may be not be strictly necessary to solve ARC, but it is likely to be useful.
c. Numbers and Counting priors:
Many ARC tasks involve counting or sorting objects (e.g. sorting by size), comparing numbers (e.g. which shape or symbole appears most (e.g. figure 10)? The least? The same number of times? Which is the largest object? The smallest? Which objects are the same size?), or repeating a pattern for a fixed number of time. The notions of addition and substruction are also featured (as they are part of the Core Knowledge number system as per [85]). All quantities featured in ARC are smaller than approximately 10.
d. Basic Geometry and Topology priors:
ARC tasks feature a range of elementary geometry and topology concepts, in particular:
・Lines, rectangular shapes (regular shapes are more likely to appear than complex shapes).
6d0160f0というデータセットを見てみよう。入力画像は、3 x 3 の画像が9種類あり、9つに仕切られたグリッドに収まっている。出力画像は、3 x 3の画像が、9つのグリッドの1か所だけに存在し、残りのグリッドは空である。入力画像の9つの3 x 3画像のうちの１つだけ、黄色が1グリッド存在する。その1グリッドの黄色が存在する3 x 3画像が、出力画像の唯一の3 x 3画像である。さらに、その黄色グリッドの3 x 3画像中での位置が、9つのグリッドの中での位置を示しているのである。4ペアの入力―出力画像から、そのルールを発見し、テスト画像に適用し、最終出力として正しい画像を生成できるモデルを作成しよう、ということである。
この6d0160f0という課題を解くために、少なくとも5～6分以上はかかった。4つの事例のうちの１つで、模様の一致しているグリッドがすぐ見つかり、他の3つも目を凝らして見つけた。しかし、出力画像のグリッドの位置を決めている理由が、なかなかわからなかった。黄色のグリッドが、3 x 3画像の選択と、3 x 3のマスの中での位置の2つの要因を決めていることに気付くのに、すこし時間がかかった。
さて、正解にたどり着くまでにヒトは何をしたか。まずは、出力側の3 x 3の模様がどこからきたかを探した。次に、9つのグリッドの中での位置がどのように決められたのかを示しているものがないかどうかを調べた。
直前に解いた課題6cf79266は、20 x 20のグリッドで、ざっと見て60％くらいのグリッドが、単色のグリッドでランダムに埋められていた。埋まっていないグリッドは黒である。3ペアあり、それぞれ灰と緑と橙である。出力画像に目を移すと、画像中に1か所もしくは2か所のみ、3 x 3の青い領域が追加されていた。対応する入力画像の場所は、3 x 3の黒抜きになっていることがわかった。これで入力と出力の関係が分かったので、類似作業をするためにテスト入力画像を見た。3 x 3の黒抜きの場所が3か所あったので、そこを頭の中で青にして、テスト出力画像を見て正解であることを確認した。
そして、マウスを操作して、6d0160f0の4対の訓練画像を見た。
グリッドは11 x 11で、1グリッドのサイズは面積で直前に扱った画像の3～4倍あり、カラフルである。1グリッド幅のグレーの直線で、9つの3x3グリッドに仕切られている。3x3グリッド内のパターンは、ベースが黒で、カラーで埋まっているグリッドの数は2から4で、隙間が多い。入力画像の9つの3x3グリッドは全て3 x 3のパターン画像で埋まっているが、出力画像は、スカスカ。１か所の3x3グリッドにのみ、パターン画像が入っている。
＊Hands-On Transfer Learning with Python : Implement advanced deep learning and neural network models using TensorFlow and Keras, D. Sarkar, R. Bali and T. Ghosh, 2018, Packt Pub.,
supervise, unsupervise, semi-supervise and reinforcement
batch learning and online learning
classification : logistic regression, support vector machine, neural networks, random forest, k-nearest neighbours, decision trees
＊CRISP-DM
Cross Industry Standard Process for Data Mining (CRISP-DM) is one of the most popular and widely used processes for data mining and analytics projects. CRISP-DM provides the required framework, which clearly outlines the necessary steps and workflows for executing a data mining and analytics project, from business requirements to the final deployment stages and everything in between.
・Business understanding
MLを何に使うのか。
・Data understanding
ここでは、EDA（Exploratory data analysis)：データの内容を、そのまま表やグラフに表示だけでなく、基本的な統計データや相関グラフを作って、ビジネスの目的に合っているかどうかを調べることによって、データを理解する。
EDA is a very powerful mechanism for understanding the dataset in detail before jumping into other stages of ML. In the coming chapters, we will regularly perform EDA to assist us in understanding the business problem along with the dataset before we go into modeling, tuning, evaluation, and deployment stages.
ImageNetデータセットで学習済みのVGG-16の、最後の3層、4096チャンネルのDwnce FC Layer 1と4096チャンネルのDence FC Layer 2と1000チャンネルのOutput Layerを除去する。次に、除去した場所に、新たな3層、512チャンネルのDwnce FC Layer 1と512チャンネルのDence FC Layer 2と2チャンネルのOutput Layerを挿入する。ダウンロードした学習済みの重みを凍結し、イヌとネコの画像データセットを用いて学習させ、最後に、テスト用のイヌとネコの画像を分類する。最後に、自前のCNNでイヌとネコの画像データセットで学習させ、テスト用のイヌとネコの画像を分類した結果と比較する。分類器だけの交換でも、自前のCNNでのaccが0.80～0.85だったのが、0.90くらいまで上がる。
F. CholletさんのDeep Learning with Pythonを片手に、APTOS2019に挑戦していたのだが、ファインチューニングをやらなかった理由はもう1つあって、眼底写真の画像分類に対して、ImageNetの画像データを使った事前学習モデルが役に立つわけなかろうと思っていたところもある。結果はわからないが、今なら、なんとしても、ImageNet画像データで学習済みのResNet50なんかを使ってみたいと思う。工学の世界だから、何でも試してみないとダメなんだと思う。
F. Cholletさんのテキストを見ると、153ページに、Fine-tuningのわかりやすい模式図がのっている。きちんと見ていなかったかな。Fine-tuningは、5番目のブロックのみを使っていて、0.96を得ている。
