Attention…

jrf> Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。

最適化を拡張することを考えていたのだけど、一般的な最適化過程というのは、むしろ定常状態からはじまり、ある方向に傾けると、反作用的な力が生じると想定する。その辺で微分と反作用が何か一般的な機構としてありうる。

そして、定常状態に戻らない場合、しかし、多くのものは定常状態的に戻る中で、戻らないことがある種の定常状態になる。これが、メタ的な・または外部接続的な微分と反作用概念になるのではないか？

外部接続ということだと、↓の二つの記事を思い出す。

《Haskell の callCC で goto を作る - JRF のソフトウェア Tips》
http://jrf.cocolog-nifty.com/software/2011/01/post-2.html

《Exhaustive Lock Dependency Emulator その１ 並列処理の総当り - JRF のソフトウェア Tips》
http://jrf.cocolog-nifty.com/software/2011/06/post-1.html

前者は擬似的な「並列」機構であるクライアント・サーバーを callCC による goto 相当を使って実装したとき、サーバーが外部に接続するということが不思議に記述できるのが問題だった。後者は虚実行という概念が出てきたのだった。ただ、最適化にそれをどうつなげればいいのかはまだぜんぜんわからない。