「パーコレーション・ノイズ: L1正則化によるスパース化と Dropout…

jrf> 「パーコレーション・ノイズ: L1正則化によるスパース化と Dropout ならぬ Drop-in を組み合わせる実験 その1」を行った。概ね失敗した。

《humanoid_nested_attention_dt_9_4.ipynb - Colab》  
https://colab.research.google.com/drive/1VU3jFlc0JbKw2xHSYBlflLBUOM1vdYX0

概要。

DecisionTransformer 系のモデルを使って二足歩行の模倣学習を行う実験で、L1正則化によるスパース化を試みる。その際、Dropout ならぬ Drop-in を使い、パーコレーション的な現象が起きて、L1正則化がやりやすくなると考えた。が、それは実証できず、実験は概ね失敗した。