《Attention…

jrf> 《Attention 機構は拡張された微分ではないかとちょっと妄想した。元々の微分がクローズアップして注意した結果傾きがわかる…みたいに解釈して。…AI の今後のますますの発展を願って、最適化の拡張を妄想してみる。 - JRF のひとこと》
http://jrf.cocolog-nifty.com/statuses/2025/01/post-6fd1b2.html