GPT2 を xxLLM…
jrf> GPT2 を xxLLM で…という方向は事前学習のデータ規模が大き過ぎて、諦めていたところ、Gemini さんに Gemma の SFT 使えばよくない？…って言われてその方向に今あたりを付けている。とりあえず Colab で Unsloth で Gemma 4 E2B が動いた。そりゃ動くんだけどローカル LLM に少し感動！ でも、やってみると生成が遅いよね。Gemini さんとか ChatGPT さんとか爆速なのに。あれらは謎技術だ…。
jrf> GPT2 を xxLLM で…という方向は事前学習のデータ規模が大き過ぎて、諦めていたところ、Gemini さんに Gemma の SFT 使えばよくない？…って言われてその方向に今あたりを付けている。とりあえず Colab で Unsloth で Gemma 4 E2B が動いた。そりゃ動くんだけどローカル LLM に少し感動！ でも、やってみると生成が遅いよね。Gemini さんとか ChatGPT さんとか爆速なのに。あれらは謎技術だ…。