坂本俊之『作ってわかる!…

jrf> 坂本俊之『作ってわかる! アンサンブル学習アルゴリズム入門』を読んだ。ソースを読めれば、わかりやすい本だと思う。ただ、9章ではかなり複雑なこともやる。

拙著『宗教学雑考集』でアンサンブル学習に言及しているのに、まともに本を読んでいないのが気になっていた。そこでこれを買って読んだ次第。

AI 学習はこのところ進歩が急速で、出版が生成 AI 流行前の 2019年だと情報が古いということになるのかもしれないが、LLM などでもアンサンブル学習的な要素があるよう(例: ↓)だが、そこが知りたいと思うのにそこに続く道が見えなかった。まぁ、しかたない。

《erukiti:X:2024-04-15》  
https://twitter.com/erukiti/status/1779665800527569091
＞
arxiv.org/abs/2402.05120
More Agents Is All You Need面白いな

一つのLLMに同一のプロンプトを複数回投げる。temperatureを上げるなりして回答に揺らぎが生じる。それらを機械的に判定する（選択問題なら頻出する。オープン記述なら他と共通項が多い）

これだけでモデルの性能が上がるらしい
＜

内容的には、ブースティングがいまいちよくわからなかった。特に勾配ブースティング(p.200 あたり)が、なぜ、差分を学習していて、それを重みありで足せばいいのかというが、いまいち私にはわからなかった。その都度改善されたパラメータで学習するではダメなのか？…ブースティングがアンサンブルとして有効な理由は何か？…みたいなものがわからなかった。

Amazon 評にもあるが、ソースに誤植があるようだ。しょっぱな(p.40)の support.py からして、prob_to_clz の pred は prob の間違いだと私は思う…。↓の正誤表にあるね。あと、agerage (p.149)も私は見つけられたが、それ以外もいろいろあるのか。

《坂本俊之『作ってわかる! アンサンブル学習アルゴリズム入門』の誤植情報を集める #Python - Qiita》  
https://qiita.com/hoxo_m/items/82f6fa2fd2cbae4bdfdb
http://webcache.googleusercontent.com/search?&q=cache%3Ahttps%3A%2F%2Fqiita.com%2Fhoxo_m%2Fitems%2F82f6fa2fd2cbae4bdfdb