AI_ML_DL’s diary

人工知能、機械学習、ディープラーニングの日記

ZeroCostDL4Micを使ってみよう!

ZeroCostDL4Micを使ってみよう!

2022.11.5:MASK R-CNNでナノ粒子のTEM像のセグメンテーションをしようとしていたことの続き。

 

Democratising deep learning for microscopy with ZeroCostDL4Mic

Lucas von Chamier et al.,

NATURE COMMUNICATIONS | (2021) 12:2276 | https://doi.org/10.1038/s41467-021-22518-0 |

Fig. 1の右側に並んでいる顕微鏡像をみればわかるように、ZeroCostDL4Micは、バイオ分野の顕微鏡像の解析のために用いられるディープラーニングソフトの集合体である。

ZeroCostDL4Micは、無料、DL(Deep Learnibg)、Mic(Microscopy)を組み合わせた名前であり、うたい文句は、DLもPythonも知らなくても、DLによる物体検出、セグメンテーション、ノイズ除去、高解像度化などができることを目指したものである。

無料の意味は、フリーソフトであるということと、無料のColabを使うということからきているのであろう。DLの学習にはGPUが必要だが、ColabはGPUを無料で使える。さらに、Python/DLは、計算環境を整えるという厄介な作業がついてまわるが、Colabは、計算環境が整っている(含まれている)ので入りやすい。

 

このZeroCostDL4Micを使ってみようと思ったのは、計算環境を自分で設定しなくてもいいので、それだけ手間が省けそう、というのが最大の理由である。まずは、その中のStarDictというセグメンテーションソフトを使えるようにしたい。

これを11月中に終え、正月の休み明けまでには、次の論文にある触媒粒子の粒径分布計測の自動化をやりたいと考えている。

 

Deep Learning for the Automation of Particle Analysis in Catalyst Layers for
Polymer Electrolyte Fuel Cells

André Colliard-Granero et al., Nanoscale, 2022, 14, 10–18

2011.11.5:ZeroCostDL4Micを使う。

1.https://github.com/HenriquesLab/ZeroCostDL4Mic/wikiに移動する。

2.StarDict(2D)の表の右端にあるOpen In Colabをクリックすると、StarDict(2D)のノートブック(Jupyter Notebook)が、Colab上で立ち上がる。

3.Link to example training and test datasetのhereをクリックし、リンク先でデータセット(画像とマスク)をダウンロードする。

4.ノートブックのコピーをとる、ダウンロードしたデータをグーグルドライブにアップロードする、という作業がうまくできれば、あとは、ノートブック内の説明に従って,

5.Colabのセッションの初期化、Train dataの格納場所のアドレスの入力、訓練後のモデルを格納するフォルダの作成とそのアドレスの入力、などがうまくできれば、StarDistの訓練(学習)、Evaluation、Predictionなどができる。

これらを正確に行うには、Colabとドライブの扱いに慣れておくことが重要だと思う。

 

Colab上で作業するには、説明文を読まないといけないのだが、Colabもドライブも慣れていないので、作業に時間がかかる。そうしている間に、セッションが終了する。

セッションが終了すると、Colab proやColab pro+の宣伝が入る。セッションが終了しにくくなるとか、より高速でメモリー容量の大きなGPUが使えるとかの宣伝文句にのせられてColab proを契約した。しかし、Colab proに変えても、作業中にセッションは切れた。しかも、GPUを立ち上げたままにしていると、計算しなくても持ち時間は減るのだ。してやられた、というところか。

 

trainingのプロセスがうまくいかなかったので、evaluationとpredictionだけをやろうとしたが、「model_nameが定義されていない」というエラーメッセージが現れた。

このエラーが生じたのは、モデルのトレーニングを省略して、evaluationやpredictionを実行するためには、(当然)トレーニング済みモデルが必要で、それはtrainingセッションで作成してGoogleドライブに保存しておくか、自分で用意してGoogleドライブに保存しておかなければならない、ということを知らなかったためである。

 

途中のプロセスを省くことなく、全体の流れを最初から順番に実行することで、ようやくtrainingまでは動くようになった。しかし、節約のためにGPUを止めていて、CPUだけで動かしていたが、当然のことながら一向に計算が進まないのでGPUモードに切り替えた。ようやく、順調にtrainingが進んだ。

 

ごちゃごちゃ書いてきたが、ノートブックに適切に情報(データやモデルの格納場所のアドレスの設定/入力)を追加することができれば、ノートブック内の説明に従って前から順に(ノートブックの基本的な使い方)実行していけば、計算は順調に進む。

ようやく、モデルの訓練までできた。しかし、結果は惨憺たるものであった。

次の図に示すように、training lossは下がっているが、validation lossが下がらず、いわゆる過学習、overfittingになっている。こうなった理由は明らかで、その下に示す教師データを見ればわかるが、これだけの内容の作業をわずか50組の教師データで訓練するのだから、うまくいくはずがない。ただし、training lossが下がっているので計算は正しく行われていると推定される。

30 epochsで止めるとこんな感じになる。


これが教師データの例である。こういうのを数百枚以上、自分で準備するのは難しい。バイオの分野の人たちが協力して教師データを作成して公開しておられ、良く訓練されたモデルも公開されているので、それらを使わせていただくのが、正確であり、早道でもある。

 

まずは、evaluationとpredictionまでやってみよう。

その次に、augmentationとハイパーパラメータのチューニングをやってみる。

それから、学習済みモデルを導入し、ファインチューニングをやってみよう。

 

2022.11.6:

昨日は、4.Train the networkまで進んだので、

今日は、5.Evaluation Your modelと6.Predictionをやってみる。

train lossとvalidation lossの曲線を見るとoverfittingのように見えるが、100エポックも必要ではなく、25エポックくらいで十分だったのかもしれない。

predictionの結果(次の図)を見ると、非常に良い結果だと思う。これなら粒径計測に使えそうだ。

 

しかし、45対(trainingに41対、validationに4対)の教師データで、ここまでの性能が出るだろうか。良い結果が得られるのはよいが、腑に落ちないというか、ありえない。

そう思って説明文を見直していたら、"Loading weights from a pre-trained network"の項目にチェックが入っていることがわかった。すなわち、学習済みモデルのweightsをモデルのweightsの初期値として使ったということである。

 

ということで、学習済みモデルを用いてファインチューニングする環境が目の前にある、ということになる。しかも学習させている細胞の画像は、ナノ粒子のTEM画像とよく似ているので、TEM画像の教師データを適宜追加すれば、実案件に使えそうである。

 

次のステップ:

・細胞の画像の代わりに、電子顕微鏡の画像を使って、予測してみよう。

・TEM画像の準備:今のプログラムに合わせた画像を準備する:

 画素数:1024 x 1024、画像の書式:tif

 

20221112(土)

6.1 Generate prediction(s) from unseen dataset

ここに、用意したTEM画像を入力すれば、粒子をインスタンスセグメンテーション画像(マスク)を得ることができる。

 

ようやく、ナノ粒子のTEM画像のセグメンテーションができるようになった!と思ってプログラムの6.1で、TEM画像のフォルダーのパスを入力し、わくわくしながら実行ボタンを押した。残念!エラーとなった。

エラーの理由は、半日以上かけて調べた結果、テスト画像のフォルダーにはテスト画像を2枚入れることを前提にしていた1枚の画像を入れたためであった。

こんな些細なことでも、プログラムを理解し、説明文を正しく理解していないと、対応に時間がかかる。最悪の場合、途中で投げ出す。

プログラムコード(Python)を読めばわかるのだが、そうすると、Pythonの入門編くらいは理解していないと使えない、ということになる。

ともあれ、ようやく、触媒粒子が検出されたカラー画像が出力された。久しぶりに嬉しかった。誰でも使えるように設計されたソフトだし、学習済みモデルが用意されているし、できて当たり前なのだろうが、なかなかどうして、小さなつまずきがたくさんあった。

さて、ここで、初めて検出できた触媒粒子のカラー画像を張り付けたいところだが、元画像に対する守秘義務、及び、知的所有権等の問題があるので、次の機会にしよう。

 

ここからが重要。出力された粒子の形状が正しいかどうか検証する必要がある。

 

今日は、ここまで。

 

2022.11.19:この週末は、予測画像から粒径を計測し、粒径分布を出力するところまでやる予定だったが、別の仕事が入ったので、それが終わるまではとりかかれない。

ImageJを使えば簡単にできそうだが、Pythonでコードを書いて、出力画像をプログラム上で処理してMatplotlibでグラフ出力する予定で、そこは、まとまった時間がとれないとできない。

 

次の週末には、ヒストグラムを出力したいと思う。

 

style=192 iteration=200

 

白金と酸素

白金と酸素

白金の酸化、酸化白金の還元、酸素の吸着、酸素の脱着、燃料電池のアノード反応とカソード反応、燃料電池のカソードにおける酸素還元反応(ORR)などをテーマとする。

 

[50]:Origin of the Overpotential for Oxygen Reduction at a Fuel-Cell Cathode

J. K. Nørskov et al., J. Phys. Chem. B, 108, (2004) 17886

 

2022/10/15:この図Figure 4の説明文を見てみよう。

The activities constructed from Table 2 are plotted in Figure 4 as a function of the O binding energy and in Figure 5 as a function of both the O and the OH binding energies. A nice volcano appears. In good agreement with experiment, it shows that Pt and Pd are the best catalysts for oxygen reduction.

Figure 5では、OだけでなくOHの結合エネルギーと活性との相関性も高いことが示されている。

結合エネルギーΔE0は、Auのように酸化されにくい元素は正で大きな値、Feのように酸化されやすい元素は負で大きな値を示している。

この結合エネルギーΔE0は、金属表面における次の反応式から得られる*とO、*とOHの結合エネルギーということのようである。*は、金属表面の吸着サイトのことである。

吸着サイトの原子配列や電子構造によって結合エネルギーΔE0が変化し、活性も異なる。Fig. 4やFig. 5から、Ptよりもプラス方向にΔE0をシフトさせることができれば活性の向上が期待されるということで、このプロットは触媒粒子の設計の指針になるということで形を変えて今でも使われている(ようである)。

この方向で極めようとすると、表面原子配列や合金化、規則化/不規則化などに首をつっこむことになるが、それについては、計算機実験を繰り返しているグループがある(らしい)。

ここでは、論文から離れて、標準電極電位の観点から、Fig. 4, 5にプロットされている元素を追跡してみよう。

Fig. 4では、マイナス側から、W, Mo, Fe, Co, Ru, Ni, Rh, Cu, Ir, Pd, Pt, Ag, Auの順である。これに対して、ウイキペディアで調べた標準電極電位の結果を以下に示す。

Fe Fe2+
 + 2e
Fe(s) -0.44
Co Co2+
 + 2e
Co(s)

-0.28

Ni Ni2+
 + 2e
Ni(s) -0.25
Cu Cu2+
 + 2e
Cu(s) 0.337
Ru Ru2+
(aq) + 2e
Ru 0.455
Ag Ag+
 + e
Ag(s) 0.7996
Pd Pd2+
 + 2e
Pd(s) 0.915
Pt Pt2+
 + 2e
Pt(s) 1.188
Au Au3+
 + 3e
Au(s) 1.52
Au Au+
 + e
Au(s) 1.83

 

Introduction
Low-temperature fuel cells are attracting considerable interest as a means of producing electricity by direct electrochemical conversion of hydrogen and oxygen into water.

There are, however, severe shortcomings of the present technology, which need to be overcome to make low-temperature fuel cells more economically attractive.

One of the most important problems is related to the low rate of the cathode reaction where oxygen is reduced

Pt is the commonly used electrode material, but there is a considerable overpotential associated with this reaction over Pt. For some reason, the kinetics of the cathode reaction make it much slower than the anode reaction,

and there is presently no consensus why this is so.

In the following, we use density functional theory (DFT) calculations to gain some insight into the cathode reactions.

DFT calculations can provide information about the stability of surface intermediates in the reactions, which cannot be easily obtained by other means.
We start by considering the simplest possible reaction mechanism over a Pt(111) surface.

We introduce a method for calculating the free energy of all intermediates as a function of the electrode potential directly from density functional theory calculations of adsorption energies for the surface intermediates.

On this basis, we establish an overview of the thermodynamics of the cathode reaction as a function of voltage, and we show that the overpotential of the reaction can be linked directly to the proton and electron transfer to adsorbed oxygen or hydroxide being strongly bonded to the surface at the electrode potential where the overall cathode reaction is at equilibrium.

We introduce a database of density functional theory calculations of energies of the surface intermediates for a number of metals and show that, on this basis, we can establish trends in the thermodynamic limitations for all the metals in question.

The model predicts a volcano-shaped relationship between the rate of the cathode reaction and the oxygen adsorption energy.

The model explains why Pt is the best elemental cathode material and why alloying can be used to improve its performance.

The Simplest Model
To introduce the basic concepts, we first study the simple dissociative mechanism Oxygen Reduction at a Fuel-Cell Cathode

Here, * denotes a site on the surface. 

式(3)は、酸素が触媒表面に化学吸着する反応

Later, we will also discuss in detail the associative mechanism where O2 does not dissociate before it is hydrogenated, and we will show that although this changes several important details of the reaction kinetics, it does not affect the main conclusions, in particular, regarding the overall variations in the reaction rate from one metal to the next.

The stability of the intermediates O* and HO* can be calculated on a Pt(111) surface.

In Table 1, we show the calculated binding energies defined as the reaction energies of the reactions 

where H2O and H2 are in the gas phase. 

The stability of both adsorbed OH and adsorbed O depends strongly on the oxygen
coverage; therefore in Table 1, we include results for two different oxygen coverages to illustrate this effect. 

We now introduce our procedure for calculating the free energy of the intermediates of the electrochemical reactions (eqs 3-5). It goes in six steps: 

1. By setting the reference potential to be that of the standard hydrogen electrode, we can relate the chemical potential (the free energy per H) for the reaction (H+ + e-) to that of 1/2H2 (eq 2 is in equilibrium). 

This means that, at pH = 0 in the electrolyte and 1 bar of H2 in the gas phase at 298 K, the reaction free energies of eqs 6 and 7 are equal to those of the reverse reactions eq 5 and eq 4 + 5 at an electrode potential of U = 0 relative to the standard hydrogen electrode.

2. To model the water environment of the electrochemical cell, we include the effect of a monolayer of water on the stability of adsorbed O and OH in the calculation.

For the low coverage results, we have simply added water to fill the surface, and we have added bilayer of water on top of the adsorbed O and OH for the high coverage results as proposed by Ogasawara et al.

The interaction with water stabilizes OH groups on the surface relative to adsorbed oxygen due to hydrogen bonding.

表1のOHの結合エネルギーにおいて、ΔEよりΔEw,waterが小さくなっている。

The effect of the water layer on adsorped oxygen is negligible.

表1の酸素の結合エネルギーにおいて、ΔEとΔEw,waterが等しい。

3. We include the effect of a bias on all states involving an electron in the electrode, by shifting the energy of this state by -eU, where U is the electrode potential.

4. The adsorbed states also interact with the field set up outside the surface by the electrochemical double layer. 

The most rigorous treatment would involve a detailed model of the water and two electrodes and the electrolytes with a bias. 

This would entail a calculation for a nonequilibrium system with two Fermi levels, which is not currently possible. 

A simple estimate of the field effect can be obtained by calculating the coupling
between the dipole moment of the adsorbed state and the average field just outside the surface. 

For O* and OH*, this gives a small effect because the dipole moments are small, 0.035 and 0.05 eÅ, respectively, on Pt(111). 

At a bias of 1 V relative to the point of zero charge, the typical average field is ~0.3 V/Å, assuming the width of the double layer to be ~3 Å. 

The effect of the electrical field on the adsorption energy is thus approximately 0.05 eÅ x 0.3 V/Å = 0.015 eV.

We neglect this in the following.

5. At a pH different from 0, we can correct the free energy of H+ ions by the concentration dependence of the entropy: G(pH) = -kT ln[H+]= kT ln 10 pH.

6. We calculate free energies of the intermediates at zero potential and pH = 0 as ΔG = ΔEw,water + ΔZPE - TΔS, where ΔE is the reaction energy of eq 6 or 7, ΔZPE is the difference in zero point energies due to the reaction, and ΔS is the change in entropy.

All of the parameters have been taken from DFT calculations or standard tables for gas-phase molecules and are shown in Appendix 1.

The electronic structure problem has been solved using density functional theory in a plane wave pseudopotential implementation, employing the ultra-soft pseudopotentials of Vanderbilt to represent the ionic cores.

All calculations were performed with the RPBE exchange-correlation functional on periodically repeated metal slabs. RPBEは交換相関汎関数の1つである。

The Pt calculations were done on a (3 x 2) three-layer fcc(111) slab at the RPBE lattice constant of Pt (4.02 Å) separated by at least five equivalent layers of vacuum.

The bottom two layers were fixed, and the top layer was allowed to relax.

A 3 x 4 x 1 Monkhorst-Pack k-point sampling was used.

The plane wave cutoff was 340 eV, and the density was treated on a grid corresponding to a plane wave cutoff at 500 eV.

For the results presented in Table 2, the OH adsorption energies were calculated on (2 x 2) four-layer slabs with the top two layers relaxed. A 4 x 4 x 1 Monkhorst- Pack k-point sampling was used, with maximum symmetry applied to reduce the number of k points in the calculations.

The dipole correction was used in all cases.

The plane wave cutoff was 340 eV for OH, 350 eV for H, and 450 eV for the O adsorption calculations.

 

表1を理解できたかどうか確認してみよう。6つのステップに分けて説明されているようだが、ぼんやりしたままである。

 

次は表2をみてみよう。

 

 

Observing the oxidation of platinum
Matthijs A. van Spronsen, Joost W.M. Frenken & Irene M.N. Groot        Nature Communications volume 8, Article number: 429 (2017) volume  

PEFCのカソードにおけるORR反応を理解するには、白金の酸化について理解を深めることが重要ではないかと思い、platinum oxidationで検索した結果、この論文に行き当たった。

J. K. Nørskovらのvolcano plotの横軸は酸素結合エネルギーである。すなわち酸素が触媒表面に化学吸着する反応のエネルギーである。すなわち金属表面における金属と酸素の結合エネルギーである。白金の場合は、白金と酸素の結合エネルギーである。漠然と、白金は酸化されないと思っていて、白金酸化物は存在しないだろうと思っていた。常温の大気中では目に見えるような酸化物は生じていないようである。

ウィキペディアで白金を調べると、白金は酸化されにくいとしか書かれておらず、酸化白金やPtO2の記述はない。

英語バージョンでは、酸化白金について説明されている。英語バージョンの一部を和訳すると、プラチナは耐腐食性に優れています。バルク プラチナは空気中でどの温度でも酸化しませんが、約 400 °C に加熱することで簡単に除去できるPtO2の薄い表面フィルムを形成します。酸化白金(IV)、PtO2は、「アダムス触媒」としても知られ、水酸化カリウム(KOH) 溶液および濃酸に溶解する黒色の粉末です。PtO2とあまり一般的でないPtOはどちらも加熱すると分解する。

For the Pt-based automotive catalyst, the most essential model is the Pt(111) single-crystal surface. This surface has the lowest surface energy and is expected to form the
largest facets in a real catalyst. Pt(111)は表面エネルギーが最小であるから最大のファセット面を持つことが期待される。

The interaction of O2 with Pt(111) has been extensively studied under traditional surface science conditions, i.e., ultra-high vacuum (UHV). It was found that O2 binds molecularly
below 160 K, above which it dissociates readily and forms a p(2 × 2)-O chemisorption overlayer with a saturation coverage of 0.25 ML. 超高真空中で160 K以下では、分子吸着し、それ以上の温度では p(2 × 2)-O 原子吸着し、飽和被覆率は0.25である。

High-temperature exposure or exposure to stronger oxidants, such as NO2, O3, and atomic oxygen, was needed to create higher O coverages.

高温でより強い酸化剤に晒すと、これ以上の被覆率となる。

This included a surface oxide consisting of one-dimensional (1D) oxidic rows, which were
forming honeycomb-like superstructures. Using these harsh conditions, even PtO2 could be created. 厳しい酸化条件にすればPtO2でさえも生じる可能性がある。

There is no guarantee that the structure of a catalyst observed in UHV is the same as the structure present under reaction conditions. UHVではなく現実の反応(動作)条件での構造を調べる必要がある。

This structure can only be elucidated when it is probed in situ, i.e., under high-pressure and elevated-temperature conditions. この構造は高温高圧でその場観察しないと明らかにはならない。

Two independent in situ surface X-ray diffraction (SXRD) studies showed the formation of bulk-like α-PtO2. These observations were contradicted by a near-ambient-pressure
(NAP) X-ray photoelectron spectroscopy (XPS) study, which showed the formation of a surface oxide at similar temperatures as in the SXRD experiments, but at lower pressures. This surface oxide was found to be an intermediate in the bulk oxidation of Pt, which only started at much higher temperatures. In a recent NAP XPS study, it was found that prolonged exposure to oxidizing conditions was needed to form Pt oxide.

SXRDとNAP XPSとではPtO2が観察される条件は若干異なるようである。先に進もう。

The most important questions remain unanswered. What is the structure formed under catalytically relevant conditions? If it is an oxide, is this a surface or bulk oxide?

PtO2が形成されたときどのような構造になるのか。

In this work, the oxidation of Pt(111) is probed with O2 pressures of 1–5 bar and at 300–538 K using in situ scanning tunneling microscopy (STM). Interestingly, the formation of
α-PtO2 is not observed, instead two stable surface oxides form. The first has a structure in which equilateral triangles are arranged into spoked wheels. The lattice constant within the spokes is close to that of α-PtO2. The second structure consist of a pattern of rows which are lifted from the surface and consisted of nearly half the amount of Pt atoms in the top layer. These surface oxide are not stable without the high O2 pressure indicating
that the O atoms in these structures are very reactive, making them relevant for catalysis.

PEFCの動作条件よりかなり厳しい条件でもα-PtO2は生じないということで先に進む。

この論文は、排ガス用の酸化触媒なので、高温条件でのPtの酸化について調べているが、PEFCは前提条件が異なるのでここまでとする。常温、UHV、1 barでは、酸素ガスはPt(111)表面で原子(解離)吸着し、被覆率が0.25で飽和するというのは参考情報だとしても興味深いし、上記のXPSスペクトルも参考になる。

 

 

 

style=191 iteration=500

 

 

固体高分子形燃料電池(PEFC)と機械学習

Application of Machine Learning in Optimizing Proton Exchange Membrane Fuel Cells: A Review

Rui Ding et al., Energy and AI 9 (2022) 100170

A B S T R A C T
Proton exchange membrane fuel cells (PEMFCs) as energy conversion devices for hydrogen energy are crucial for achieving an eco-friendly society, but their cost and performance are still not satisfactory for large-scale commercialization. Multiple physical and chemical coupling processes occur simultaneously at different scales in PEMFCs. Hence, previous studies only focused on the optimization of different components in such a complex system separately. In addition, the traditional trial-and-error method is very inefficient for achieving the performance breakthrough goal. Machine learning (ML) is a tool from the data science field. Trained based on datasets built from experimental records or theoretical simulation models, ML models can mine patterns that are difficult to draw intuitively. ML models can greatly reduce the cost of experimental attempts by predicting the target output. Serving as surrogate models, the ML approach could also greatly reduce the computational cost of numerical simulations such as first-principle or multiphysics simulations. Related reports are currently trending, and ML has been proven able to speed up tasks in this field, such as predicting active electrocatalysts, optimizing membrane electrode assembly (MEA), designing efficient flow channels, and providing stack operation strategies. Therefore, this paper reviews the applications and contributions of ML aiming at optimizing PEMFC performance regarding its potential to bring a research paradigm revolution. In addition to introducing and summarizing information for newcomers who are interested in this emerging cross-cutting field, we also look forward to and propose several directions for future development.

図面を並べてみただけだが、燃料電池をトータルで理解するにはどれだけのことを知らなければならないのか・・・。

5. Conclusion and Outlooks
As a complex energy conversion device, achieving multiparameter optimization of a PEMFC is a difficult process. Using traditional trial and error methods is inefficient, while ML methods allow it to be handled as a black box. The construction of data-driven models based on experimental data enables the mapping of experimental/operational
parameters of interest or certain observations directly to the desired target output. In addition, ML can be trained based on numerical simulation models such as DFT and CFD, which, as surrogate models, greatly reduce the computational cost of finding optimal parameters, leading to better power density. Both ideas are currently used in the most reports in the field of PEMFC to achieve higher performance in related materials and components. From microscopic to macroscopic scales, such as nanoelectrocatalysts, CL, GDL, PEM, MEA, flow fields, single cells, and stacks, the application is wide and successful. However, we still need to point out the current existing limiting problems and the future direction of the field.

1 Current ML applications are dominated by supervised learning, which has led to the need for researchers to prepare large sets of annotated data to train ML models. Whether this comes from highthroughput experiments or computationally expensive numerical simulations, the costs are relatively high. There are several ideas of ways to address this problem. The first is the development of an efficient experimental device for
conducting automatic experiments; Cooper et al. developed robotic chemists with humanoid features that can work on their own in a standard laboratory using various experimental apparatuses, such as humans [156]. By combining this with Bayesian optimization, the idea is similar to that of guiding experiments through ML models and
making additions to the dataset to form a complete R&D cycle, as mentioned previously in Ref. [88]. The 1.75-meter-tall AI robot completed 668 experiments independently in eight days and developed a completely new chemical catalyst. However, similar robots
may still cost more than employing experimenters. However, as computer vision develops and reports in related fields continue to be launched, the technology for fully automated experimental robots will become more realistic. The second is the development and application of the few shot learning algorithms [157] to accommodate low-cost, small volume datasets. However, the current research is mainly focused on the
field of computer vision. Beyond this, there are two similar general approaches. The first is transfer learning [158], where the knowledge or patterns learned on one domain or task are applied to a different but related domain or problem using models that have
already been trained and adapted. The second is data augmentation [159], a technique that is also primarily used in image recognition. By rotating, adding noise, and cropping the images in the training set, it is possible to increase the size of the training set and improve the effectiveness of the ML model. This idea is also worthwhile. The third is the flexible use of unsupervised learning and other methods that do not require annotated data. Clustering in Ref. [160], for example, can be used to find commonalities in the experimental parameters among data records that have the desired performance, and thus, high-value information can be obtained. In addition, the use of the Apriori associate rule mining methods [161] that have been reported to reveal frequent item sets is also very effective for performing similar tasks without model training.

2 ML models, as they are data-driven models, are still black-box models. Despite the ability to make effective and accurate predictions when training data are available, researchers still need to gain a deeper understanding of how ML models determine output performance based on input variables with specific meanings in physical or chemical processes. The introduction of ML interpretation tools can help to improve the credibility of ML models and, on the other hand, help us uncover important information that is latent in more complex systems such as PEMFC systems. On the other hand, researchers will also be able to compare ML insights with scientific domain knowledge, thus correcting potential biases due to the dataset. This will be a collaborative effort between ML models and researchers.
3 The construction of ML models is currently still only possible in known parameter spaces. Therefore, despite being called AI, ML models cannot introduce innovations (new parameters, methods, or variables that have never existed before) to a material system from scratch in the same way that a real researcher can. Therefore, ML still needs to be combined with human researchers. ML models can serve as an aid to help us to get from 1 to 100, but the real 0 to 1 can still only be achieved by a talented human. To make breakthroughs, advances in artificial general intelligence (AGI) should be considered.
At the current stage, possible progress might be achieved by developing meta learning, namely, learning to learn [162]. The goal is to enable the model to acquire an ability to learn to tune hyperparameters so that it can quickly learn new tasks based on the acquired knowledge. When there are many ML cases available for learning in the same domain (e.g., PEMFC), these ML cases can be used as materials for training meta-learning models. Ultimately, meta-learning models may be similar to human researchers, with a
certain ability to mine unknown directions of inquiry.
4 In addition to the aforementioned expansion and improvement from ML methods and applications, from the PEMFC’s perspective, there are also some directions that can be developed in the future for better mutual benefit with ML. The first is that for the development of PEMFC materials, the synthesis preparation and experimental operation description should be standardized. A third-party standard testing organization (similar to solar cells) should be established to improve the reliability of the PEMFC performance test data. This will improve the quality of the database to facilitate ML modeling. The second point is to promote in-depth cooperation between academia and industry on the basis of the former, build a big data sharing platform, and actively open up data availability for researchers in the field.
5 Finally, the main bottleneck restricting the large-scale application of PEMFCs is still the Pt capacity. To achieve this goal of overcoming this bottleneck, the development of catalysts with higher catalytic activity and lower cost and the optimization of membrane electrode processes are the directions that the academic community should continue to pay attention to. At present, high-entropy alloy electrocatalysts [59, 163, 164] and gradient MEAs [165, 166] may be the main research systems in the next stage. However, there are still no reports on the application of ML to the optimization of related systems.
Therefore, promoting research in these frontier directions is recommended.

 

style=190 iteration=20

 

ニューラルネットワークを用いた第一原理計算

2020年に「人工ニューラルネットワークによる多体電子状態計算」というタイトルでCarleo らのNQS,Hermann らのPauliNet,およびPfauらのFermiNetについて半ページ程度の記事を書いた。

年内に、その進展状況を紹介する記事を、まず、半ページ程度書いてみて、良さそうであれば、ボリュームを増やしてみたいと考えている。

記事を書くのが目的ではなく、第一原理計算と分子動力学を使って、材料の物理化学的性質を計算し、実験結果と比較できるようにすることである。

ここで紹介するのは次の論文である。上記3名が共著者になっており、かつ、DeepMindIBMの研究者も共著者となっている。(PfauもDeepMind

Ab-initio quantum chemistry with neural-network wavefunctions

Jan Hermann, James Spencer, Kenny Choo, Antonio Mezzacapo, W. M. C. Foulkes, David Pfau, Giuseppe Carleo, and Frank Noé 

ニューラルネットワーク(NN)が量子化学計算に適用され始めた頃は、もっぱら、教師あり学習、すなわち分子構造と物理化学量のデータセットを使ってNNを学習させれば、新たに分子構造を入力すれば物理化学量が出力されるというものであった。Fig.1a右下のパターンに相当する。内挿であればそれなりの結果は得られるが、外挿には無力である。

2.3 Variational wavefunction methods

Hartree–Fock

However, the variational principle does not hold in DFT because the exchange-correlation contributions to the energy functional are not known exactly and must be approximated in practice. From here on, we will stay within the variational principle
and instead focus on increasing the expressiveness of the HF (Hartree–Fock) ansatz.

DFTパッケージ(QuantumEspresso)を使って第一原理電子状態計算を行えるようになるために、前園氏らのテキストを読んでいて、擬ポテンシャルとコーンーシャム方程式を解く際の自己無撞着ループの説明のところで、”近似”という言葉は使っていないが、「コーンーシャム軌道には数理的便宜以上の意味はない」、「交換相関汎関数は厳密な汎関数の存在飲み証明されているが、そのつくり方は定まっていないので、果敢につくって試すしかない」などの記述が気になっていた。

この「気になること」に対するJ. Hermann, D. Pfau, G. Carleoらの答えは、DFTは使わない、ということである。

最後まで目を通したが、2020年からの進展を把握することはできなかった。

 

この週末にはもう少し丁寧に読んで、2年間の進展を把握したいと思う。

 

 

style=189 iteration=20

 

燃料電池の技術

西川尚男著 燃料電池の技術 東京電機大学出版局 2010年6月10日第1版1刷

ちょっと古いかなとは思うのだが、サブタイトルが、「固体高分子形の課題と対策」となっていて、当時の研究課題を知ることができるので、この12年間の進展を把握するための出発点とすることができそうである。(購入動機:上司の薦め)

 

第1章 資源の枯渇と地球温暖化問題

 

第2章 燃料電池の基本

2.1 燃料電池の原理と種類

2.2 燃料電池の理論効率と理論起電力

2.2.1 理論効率

ΔH=ΔG+TΔS

ΔHはエンタルピー変化、ΔGはギプス自由エネルギー変化、TΔSは温度とエントロピー変化の積。電気化学反応の場合、TΔSは熱として周囲に放出されるエネルギーである。

理論効率は(ギブス自由エネルギー変化ΔG÷エンタルピー変化ΔH)である。

2.2.2 理論起電力

理論起電力=ー(ギブス自由エネルギー変化÷nF)

2.2.3 高位発熱量HHVと低位発熱量LHVで表示した理論効率と理論起電力

温度によってギブス自由エネルギー変化もエンタルピー変化も変化するため温度によって理論効率も理論起電力も変化する。

 

第3章 固体高分子形燃料電池PEFC)のセル・スタック構成と水管理

3.1 PEFCのセル・スタック構成

3.1.1 触媒

(1)触媒担持体と触媒層

 PEFCの理論起電力は1.23 Vと高いが、電流を流すとセル電圧は低減する。小さい電流密度領域で実測されるセル電圧と理論起電力との差を活性化過電圧といい、活性化過電圧を小さくして、セル電圧を高めるために白金触媒が使用されている。

 白金触媒の粒径は1 nmから5 nmで、その比表面積は50 m2/gから200 m2/gであり、触媒担持体(カーボンブラック)の10 重量%から50 重量%の範囲で付着されている。 

(2)カソード触媒とアノード触媒

(3)新触媒の開発

 白金触媒量の低減、合金触媒を含めた耐久性の向上、白金に替わる代替触媒の開発

 触媒層内へのイオノマーの含浸量の最適化による触媒利用率の向上

 ガス拡散性ならびに水分排出の最適化

 膜の薄膜化による膜抵抗の低減

 触媒の微粒子化、コアシェル化、粒径の単分散化、合金化、表面原子構造の最適化

 脱白金触媒、カーボンアロイ触媒

3.1.2 高分子膜

 電解質膜の模式図とミクロ構造

 クラスター構造と水の移動

3.1.3 セパレータ

3.2 水管理

3.2.1 セル内水分移動

 加湿されたガスをセルに供給

 電気浸透水と逆拡散水

3.2.2 並行流と対向流

3.2.3 加湿方式

 

第4章 セル性能

4.1 セル性能の向上

(1)高分子膜厚さとEW値の低減

 EW:交換基当量重量(スルホン酸基1モル当たりの乾燥状態のナフィオン(プロトン型)のグラム数)

(2)触媒の微粒子化および高分散化

 触媒は粒径が1 nmから5 nmの白金触媒を10 nmから100 nmの粒状の触媒担持体であるカーボンブラックの上に付着させて形成される。

 白金触媒の比表面積が大きいほど触媒の活性は高まるので、担持体の表面積の大きいカーボンブラックの上に微粒子化された白金触媒を高分散化させるのが望ましい。

(3)触媒層へのイオノマーの含浸

 プロトン伝導性とガス拡散性のバランス

4.2 セル電圧特性

4.2.1 運転圧力特性

(1)加圧化によるセル電圧の上昇

(2)セル温度上昇の課題と解決策

 水蒸気分圧と水素や酸素分圧とのバランス

4.2.2 セル運転温度特性

4.2.3 利用率特性

燃料流量のセル電圧特性への影響を燃料利用率特性という。

燃料利用率:水素を燃料としたとき、セル内で発電により消費される水素量をセル入り口の水素量で除した値。

(1)燃料利用率特性

 (a)改質ガスを用いた燃料利用率特性

 (b)純水素を用いた燃料利用率特性

 純水素を燃料とする場合、排出される水素は燃料の損失となり電池効率の低下につながるため、排出水素量を極力減らす高燃料利用率運転か、電池からの排出水素を電池のアノードへ戻し、再度セル内で利用するアノードリサイクル運転が行われている。

(2)空気利用率特性

 (a)一般的な空気利用率特性

  空気利用率が増大するとセル内の酸素濃度が下がりセル電圧は低下する。

  とくに電流の大きい領域でセル電圧低下が著しい。

 (b)加湿温度変化時の空気利用率特性

4.2.4 加湿特性

PEFCは一般的に高加湿条件で運転する。

4.2.5 一酸化炭素の影響

 

第5章 セル劣化

 

5.1 触媒劣化

5.2 電解質膜劣化メカニズム

5.3 カーボン劣化

 

第6章 セル診断技術

6.1 サイクリックボルタンメトリー測定法(CV法)

6.1.1 測定原理

ある一定の電位掃引速度で、参照電極の電位を基準に作用電極に電圧を印加すると、参照電極と作用電極の間に電流が流れ、その結果作用電極で酸化・還元反応が起こる。

(Pt/C触媒では、電圧を0 V付近から1 V付近まで掃引すると、最初に水素脱離ピークが生じ、次にPtの酸化ピーク(酸素吸着)が生じる。続いて1 V付近から0 V付近まで掃引すると、Pt酸化物の還元ピーク(酸素脱離)が生じ、次に水素吸着ピークが生じる。)

6.1.2 測定方法と結果の評価

有効白金触媒表面積は、S=Q/2.1 m^2

(図6.3に、4種類の担持体のCV曲線が示されているが、本文の説明と対応していないように思う:グラファイトカーボンとブラックパールの線が入れ違いに?)

6.1.3 CV測定による触媒劣化の診断

単セルの起動停止試験終了後、活性化分極が38.5 mV増大し、カソード触媒の表面積は運転初期の25 %まで低下したという結果について検討した内容が示されている。

 セル電圧の低下 ΔV=blog(S/S0):bはターフェル勾配

電気化学的表面積の低下(S0S)は、起動停止試験終了後の触媒粒子の粒径増大を伴っている。触媒粒子の溶解や担持体からの脱離も電気化学的表面積減少の要因であろう。

6.2 分極分離手法

6.2.1 活性化分極、拡散分極、抵抗分極

活性化分極:酸素還元反応の寄与が大部分を占める:触媒性能の向上が低減に寄与

抵抗分極:電解質膜、ガス拡散電極、セパレータ、集電板などの抵抗による電圧低下

拡散分極:生成水の増える高電流密度領域で増える:反応ガスの拡散・反応の阻害による

(a)電流密度の小さい領域のセル電圧特性

低電流密度領域のセル電圧は直線的に変化し、このセル電圧の傾斜をターフェル勾配と呼ぶ。図6.7の場合のターフェル勾配は60 mV/decadeである。

ターフェル勾配の延長線と理論起電力との交点の電流密度を交換電流密度(exchange current density)とよび、その値は10^-8 A/cm2から10^-9 A/cm2である。

 

第7章 加速試験方法

燃料電池の開発をスピードアップさせるには、短時間で寿命予測が可能な加速寿命試験方法の開発が望まれる。

7.1 要素レベルの加速試験

7.2 ショートスタックを用いた加速試験

7.3 実セルレベルの加速寿命試験

 

第8章 PEFCの適用(自動車用と家庭用燃料電池

8.1 自動車への適用

 

8.2 家庭用燃料電池

 

 

 

 

 

 

 

 

 

style=188, iteration=360

 

固体ー構造と物性

固体ー構造と物性 金森順次郎・米沢富美子・川村清・寺倉清之著 岩波書店

2001年3月15日第1刷発行

 

2022/9/4

ナノ粒子の分析をしていて、基礎的なことを知らないことに気付いたので、書棚に眠っていた本書を取り出して読んでいる。

ナノ粒子に関する節があったのでそこを読んでみた。

 

7-5 超微粒子の結晶構造

金属超微粒子の構造については、1960年代に名古屋大学のグループによって徹底的に研究されたとのこと。ほとんどの金属超微粒子の結晶構造はバルクのものと同じであるが、バルク結晶なら高温相でのみ現れるはずの結晶構造が室温の超微粒子で見られることが多いとのこと。

紀本和男氏による1967年の論文から引用したCrナノ粒子の研究例があり、ナノ粒子ではバルクでは見られないA15型結晶構造となり、外形が5角形となっている。

界面張力と表面積の積が最小になるというGibbsの理論とその条件によって決まる多面体はWulffの多面体というとのこと。

 

 

style=187, iteration=1000

 

第一原理計算をやってみよう!20220614

20220614 第一原理計算をやってみよう

参考書:前園 涼/市場 友宏著 動かして理解する 第一原理状態計算

 

機械学習/ディープラーニングによって第一原理計算の高速化や高精度化を図るということを体験したいと思っているのだが、全く進んでいない。

今回取り上げるのは機械学習を全く含まない純然たる第一原理計算である。

まずこれを知らないとダメだろうということもあるが、今回このテキストを使ってみようと思ったのは、どうしても自分で計算してみたいことがある、パソコンでどこまでできるか知りたい、できればこの延長線上で大型計算機も使えるようになりたい、というのが最も強い動機である。

 

2022/10/01追記

昨日、参考書の3章から5章まで通読した。第一原理計算の骨子はぼんやりとではあるが把握できたように思う。

 

付録B ターミナル環境設定の詳細(Windows版)

B.1~B.3のターミナル環境設定はクリヤできた。

B.4~B.5のインストールも最後まで進んだが、

最後の描画は表示されなかった。

gnuplot> plot x

ここで止まったままである。

推測では、作業ディレクトリの準備で、入力できていないコマンドがある、という可能性がある。テキスト通りに進まず、エラーが表示されたときに、エラーに対する処置が適切に行えなかったことが描画できない原因となっている可能性がある。

 

2.2.3 教材セットの入手と配置

 

2022年7月7日:ここで止まったままである。

 

目の前に、1998年の論文がある。

"Effect of Strain on the Reactivity of Metal Surface"

原子や分子の吸着エネルギーが表面原子のcompressiveもしくはtensile stressによってどう変化するかをDFTによって計算し、最後にd-band centerとの相関が示されている。

 

2022年の論文を見ると、PtNiCoのナノ粒子をうまく調製すれば、Pt/Cの10倍以上の酸素還元活性を実現できているようだ。

 

酸素還元反応であれば、酸素ガスがカソード電極の背面から供給され、プロトンが高分子電解質膜から供給され、電子がカーボン担体から供給される。反応中間体は触媒表面近傍でどのような配置をとるのだろうか。吸着するのはOかOHかOHの場合Pt側はOかHかなど、よくわからない。実時間スケールでどのようなことが起きているのかを知りたいのだが、分子動力学の計算が必要になるのか。時間変化が追えなければ意味がなさそうだ。反応速度と反応機構を知りたいのだが、計算機の中でそれをどのようにすれば実現できるのだろうか。ダイナミックに捕えなければ意味がなさそうだ。カソード触媒表面近傍に供給された酸素ガスとプロトンと電子からH2Oが発生する様子を再現して反応速度を調べるためには、どうすればよいのだろうか。

PtNi、PtCo、PtNiCoなどでは、表面近傍の原子配列や電子状態がPt原子であってもその近傍の原子と位置によって異なると思うのだが、どうやれば原子配列構造を再現し、反応の様子を再現することができるだろうか。

 

2022/9/3

プログラムを動かしながら学ぶつもりだったが、情けないことに、インストールの途中で止まったままだ。

とりあえず、先に進んでみよう。

 

第3章 計算の一連の流れ

3.1 自己無同着計算という計算プロセス

3.2 インプットファイル群の準備

3.2.1 物質構造をどう準備するか

cif形式」⇒ VESTA ⇒ cif2cell ⇒ Quantum Espresso

3.2.2 物質構造ファイルの入手

3.2.3 構造ファイルの書式変換

3.2.4 擬ポテンシャルの準備

ウイキペディアから引用

「擬ポテンシャル(ぎポテンシャル、英: pseudopotential)は、第一原理計算において原子核近傍の内核電子を直接取り扱わず、これを価電子に対する単なるポテンシャル関数に置き換える手法である。これは原子間結合距離など、多くの物性において、内核電子の直接の影響が小さいことを利用したものである。平面波基底を用いて第一原理計算を行う場合、計算コストの問題から、何らかの擬ポテンシャルを使う場合がほとんどである。

有効内核ポテンシャル(英: effective core potential, ECP)とも呼ばれる。

こうした擬ポテンシャルは、内核電子が与える静電相互作用や交換相関相互作用とは全く無関係に、原子核から或る半径よりも外側では、波動関数が全電子計算の結果と一致することだけを指針に作成される。そのため平均場近似といった物理的な近似や洞察を含むものではなく、あくまでも計算のための便宜的な手法といえる。価電子帯の波動関数は、原子核近傍で同径方向に節(ノード)を持つが、擬ポテンシャルを作製する際には、こうした節を取り除き、滑らかな波動関数となるように問題をすり替える。このため、擬ポテンシャル法により得られる波動関数(密度汎関数法に用いる場合はKohn-Sham軌道)は擬波動関数と呼ばれることもある。こうした操作が、カットオフエネルギーの大幅な削減へと繋がる。」以上、ウイキペディアから引用

3.3 自己無撞着計算

3.3.1 計算の準備

3.3.2 自己無撞着計算の実行

3.3.3 自己無撞着計算の結果チェック

3.4 手早くプロットして確認する

3.5 電子構造の算定

3.6 分散図描画

3.7 クイック・チェックとしての物性計算

3.8 補遺:κ点パスの生成

 

第4章 計算条件の決定

4.1 計算条件の決定とは何か/なぜ重要なのか

4.2 計算分解能の決定

4.2.1 κメッシュ

4.2.2 エネルギーカットオフ

4.3 擬ポテンシャル選定による予見差異

4.4 交換相関ポテンシャル選定による予見差異

 

4.5 計算条件が予見に及ぼす影響 

 

第5章 第一原理解析の理解に関する勘所

5.1 カーネル計算の位置づけ

5.2 カーネル計算の勘所

5.3 密度汎関数法の概略:交換相関ポテンシャルの理解に向けて

5.4 擬ポテンシャル

5.5 基底関数系

5.6 ソフトウエアパッケージの選択指針

5.7 補遺:SCF収束の調整

 

第6章 さらなる展開へ

6.1 シミュレーション協働実務の進め方

6.2 自分の興味ある系への適用に至る道筋

6.3 マテリアルズインフォマティクス

6.4 ハイスループット化とワークフロー化

・量子モンテカルロ法電子状態計算

6.5 マテリアルゲノムへ

 

 

 

 

style=186, iteration=500