最近のOpenAI社のChatGPTの躍進を見ていると、自分に近い分野で「ChatGPT的なもの」を作れないか、と思いますよね？ あまり流行りの方法を追ってもしょうがないと思いつつ、気象分野でそういったものが作れないかと考えています。
ご留意をいただきたい点として、今回の話はChatGPTに類する自然言語系のモデル自体を使うという話ではありません。
ChatGPTは大規模言語モデル（LLM）と呼ばれるモデルの一種です。 LLM自体は非常にシンプルなタスクを解いており、ある文章が与えられた時に、 それにつながる文書（英語であれば単語のつながり）を予測するというものです。 このようなモデルを作ったとき、最もダイレクトな活用方法としては小説の前書きだけを 書いてその後の文章を生成したりといったタスクになります。 一方で、入力する文書に「次の文書を要約せよ」であるとか、「次の文章を英訳せよ」、 「次の文書を表形式で要約せよ」といった形で、入力する文書の中に どのように返信して欲しいかという情報を含めることで、 様々な種類の問題に適用でき、しかもその精度が非常に高い、というのがすごい点です。 LLM自体は汎用人工知能ではないですが、ある限定された意味での汎用性を手に入れているという言い方もできます。
なぜLLMがこのような能力を手に入れたか、という点を考えると、私の理解としては以下の4点が重要であったと考えています。
A. 「次の文書を予測する」というタスクは単純だが、言語を理解することのエッセンスを含んでいたこと B. インターネット上の大量の文章を学習に活用できた点 C. 深層学習モデルの構造としてTransformerベースのスケーラブルかつパラメータ数の多いモデルを用いた点 D. これらの学習をGPU数千台レベルの超大規模な計算機を用いて実行した点
それぞれの点について、気象現象を理解するという問題設定に当てはめて考えると、
A. については、「次の気象状態を予測する」、いわゆる天気予報のタスクが当てはまると思います。将来の気象状態を予測するためには、大気がどのように動くかを決める流体力学の法則、雨や雲などができるかどうかを判断する熱力学の法則、海や山脈などの地形の影響、十種雲形のように気象現象がどのような外観をしているかの知識、あるいは雨粒レベルから巨大な台風が生成されるまでの様々な空間スケールの気象現象の理解など、様々な知識が必要となります。人間の気象学者は教科書を通じて学ぶことによって効率的にこのような知識を獲得しますが、AIは大量のデータからの帰納的な推定によってこれらを学ぶ必要があります。
B. については、国内外の気象機関（日本であれば気象庁）や大学などによって、過去に発生した気象現象や、将来起こり得る気象現象をコンピュータによって再現した大量のデータが存在します。これらは実際の気象現象そのものではありませんが、主要な気象変数間の関係性や空間的なパターンを知ることができるため、重要な情報源となります。また、アメダスなどの地上での気象観測や、気象レーダーやライダーなどによる広範囲の観測、気象衛星による地球全体の観測など、様々な気象観測データも存在します。観測データは実際の気象現象により近いという特徴がありますが、精度は完全ではなく、また人間の計測しやすい変数に限られているという問題もあります。これらのデータを組み合わせて学習することで、より高度な気象現象の理解が可能になるでしょう。
C. については、大規模なTransformerを用いて気象現象の予測を行います。Transformer自体は言語のように1次元的な情報を予測することを得意としています（そのため再帰型ニューラルネットワーク（RNN）の後継モデルだと誤解されることが多い）が、”Atttention is all you need”によるオリジナルの定式化の時点で任意の次元の空間の相互関係を表現することができます。実際に、GoogleによるViT(Vision Transformer)のような画像認識用のTransformerモデルも存在し、言語処理ほど革命的な精度向上では無いものの、これまでの畳み込みニューラルネットワーク（CNN）よりも高い精度が確認されています。気象現象を予測するといっても様々な定式化がありますが、どのような定式化が良さそうかという点については次回説明したいと思います。
D. については、気象学の基礎モデル（Foundational Model）を作ることを目指す場合、最終的には大規模なGPUクラスタを使用して実験する必要があると思います。しかし、精度がスケールする傾向を確認するためには、まずは小規模な実験での検証が可能です。
これらはまだ仮説というか希望的観測ですが、実際にモデルを構築し、検証してみたいと思います。
機械学習と気象学、IＴ系の話題について興味を持っています。本ブログの記事は考えている途中のアイディアなどを気軽に発信することが目的のため、間違いを含んでいる可能性があります。記事の編集・校正などにChatGPTを使用しています。
博士（理学）、修士（情報学）、気象予報士
コメント