坂本俊之『作ってわかる!…

坂本俊之『作ってわかる! アンサンブル学習アルゴリズム入門』を読んだ。ソースを読めれば、わかりやすい本だと思う。出版が生成 AI 流行前なので、LLM などでもアンサンブル学習的な要素があるようで、そこが知りたいと思うのにそこに続く道は見えなかった。
JRF 2024年4月20日

『作ってわかる! アンサンブル学習アルゴリズム入門』(坂本 俊之 著, シーアンドアール研究所, 2019年5月)
https://www.c-r.com/book/detail/1316
https://www.amazon.co.jp/dp/4863542801
https://7net.omni7.jp/detail/1106992937

JRF 2024年4月20日

なお、AI の本は直近では他に、斎藤康毅『ゼロから作るDeep Learning 5 - 生成モデル編』を読んでいる([cocolog:94787819])。

JRF 2024年4月20日

……。

○ 2024-04-19T16:49:58Z

坂本俊之『作ってわかる! アンサンブル学習アルゴリズム入門』を読んだ。ソースを読めれば、わかりやすい本だと思う。ただ、9章ではかなり複雑なこともやる。

拙著『宗教学雑考集』でアンサンブル学習に言及しているのに、まともに本を読んでいないのが気になっていた。そこでこれを買って読んだ次第。

JRF 2024年4月20日

AI 学習はこのところ進歩が急速で、出版が生成 AI 流行前の 2019年だと情報が古いということになるのかもしれないが、LLM などでもアンサンブル学習的な要素があるよう(例: ↓)だが、そこが知りたいと思うのにそこに続く道が見えなかった。まぁ、しかたない。
JRF 2024年4月20日

《erukiti:X:2024-04-15》  
https://twitter.com/erukiti/status/1779665800527569091
＞
arxiv.org/abs/2402.05120
More Agents Is All You Need面白いな

JRF 2024年4月20日

一つのLLMに同一のプロンプトを複数回投げる。temperatureを上げるなりして回答に揺らぎが生じる。それらを機械的に判定する（選択問題なら頻出する。オープン記述なら他と共通項が多い）

これだけでモデルの性能が上がるらしい
＜

JRF 2024年4月20日

内容的には、ブースティングがいまいちよくわからなかった。特に勾配ブースティング(p.200 あたり)が、なぜ、差分を学習していて、それを重みありで足せばいいのかというが、いまいち私にはわからなかった。その都度改善されたパラメータで学習するではダメなのか？…ブースティングがアンサンブルとして有効な理由は何か？…みたいなものがわからなかった。

JRF 2024年4月20日

Amazon 評にもあるが、ソースに誤植があるようだ。しょっぱな(p.40)の support.py からして、prob_to_clz の pred は prob の間違いだと私は思う…。↓の正誤表にあるね。あと、agerage (p.149)も私は見つけられたが、それ以外もいろいろあるのか。

JRF 2024年4月20日

《坂本俊之『作ってわかる! アンサンブル学習アルゴリズム入門』の誤植情報を集める #Python - Qiita》  
https://qiita.com/hoxo_m/items/82f6fa2fd2cbae4bdfdb
http://webcache.googleusercontent.com/search?&q=cache%3Ahttps%3A%2F%2Fqiita.com%2Fhoxo_m%2Fitems%2F82f6fa2fd2cbae4bdfdb

JRF 2024年4月20日