会話。 jrf:>…

jrf> 会話。

jrf:> ニューラルネットをタスク分担で代替できないか。もう少し考えてみました。ニューラルネットを直にタスク分担に変換できないか考えます。

タスク分担の場合、何とはなしに待ち、何とはなしに出す、そういう部分が大事だということでした。ただ、その間に待った後入力されたものを出力に直す層があります。この層がニューラルネットの重み行列の層に相当するのではないか…と。入力と出力の次元は変わっていいわけです。そして層の中では重み行列が他を参照するように共有メモリなどを通じて参照しあうのでしょう。そして待機と発出も次元が違っていい。複数発出されたものが一つの待機を、または複数の待機を同時に発火させていいわけです。この待機と発出は、活性化関数に相当する部分でないか。同時発火の数を減らす(例えば1にする)と1出力の活性化関数的になる…と考えました。いかがでしょう？ ニューラルネットが直にタスク構造に変換できるかもしれないという主張です。効率は悪そうですが。

Gemini:> あなたの主張は、以下の結論に要約されます。

「標準的なニューラルネットワークは、タスク構造（モジュールと論理的ゲート）の非常に密で、全結合的で、連続的な（アナログな）特殊なケースである。」

ネットワークのノード（タスク）が、出力を行う前に「十分な入力が揃うのを待つ」という機能は、リカレントネットワークやアテンション機構など、時間軸または情報軸でのフィルタリングを本質的に内包しています。

ただし、NNから変換すると、効率的な学習（勾配降下法）はできなくなります。