雑誌『数理科学 2024年10月号 - 特集…

jrf> 雑誌『数理科学 2024年10月号 - 特集 生成AIのしくみと数理』に目を通した。いつも手こずるこの雑誌だが、情報系ということもあり比較的わかりやすかった。まぁ、読み飛ばした部分はあいかわらず多いが orz。

『数理科学 2024年10月号 - 特集 生成AIのしくみと数理』(雑誌, サイエンス社, 2024年9月)
https://www.amazon.co.jp/dp/B0DFZ52N8H

注意機構の式とか前の『数理科学』かな？…で見たことあった気もするけど、理解が進むね。

EBM(エネルギーベースモデル)の学習で MCMC法みたいな計算コストが高い方法が実際使われてるらしいのにちょっと感動した。(p.18)

AR(自己回帰)モデルの説明は、↓を思い出した。

以前 [cocolog:95231673](2025年1月) で書いたこと…

＞＞
Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。…AI の今後のますますの発展を願って、最適化の拡張を妄想してみる。

最適化を拡張することを考えていたのだけど、一般的な最適化過程というのは、むしろ定常状態からはじまり、ある方向に傾けると、反作用的な力が生じると想定する。その辺で微分と反作用が何か一般的な機構としてありうる。

そして、定常状態に戻らない場合、しかし、多くのものは定常状態的に戻る中で、戻らないことがある種の定常状態になる。これが、メタ的な・または外部接続的な微分と反作用概念になるのではないか？

GPT も次のトークンがないというのを定常状態からの欠落と見て、そこからどう反作用すれば「定常状態」に戻るか…という最適化過程なのではないか。ただ、この場合、文章を書き続けるためには、定常状態が常時変わっているか、定常状態から少しズレたところに着地し続ける…みたいなことが必要になるのかもしれないが。

これを Gemini さんにぶつけると…。

Gemini:＞ GPTの学習過程は、生物の進化と類似点があります。

  * 変異と選択: GPTのパラメータの調整は、生物の遺伝子の変異に相当し、生成された文章に対する評価は、自然選択に相当します。
  * 適応: GPTは、与えられたデータに適応するように、パラメータを調整していきます。これは、生物が環境に適応していく過程に似ています。

＜
＜＜

あと、これはある程度知っているから逆にハッキリすることだが、やはり、わかっていることが前提の記述は多いように思う。わかっている人が確認するために読むにはいいが、そうでない人がこの雑誌だけから学ぶのは不可能と思える部分は多い。まぁ、論文は一般にそういうものという側面があるので、論文よりはこの雑誌は簡単なのではあるのだろうけれども。

そういうわけで、いつものようにわからないところは読み飛ばした orz。

毎度のことながら、情けない。