簡単な易占いをオープンな LLM AI の Rinna 3.6B…

jrf> 簡単な易占いをオープンな LLM AI の Rinna 3.6B にやらせてみた。Rinna はどうも元々、易占いを知ってるようす。簡単な指示に割と合ってる答えを返す。逆に詳しい指示を与えたほうがダメだった。

まず、ChatGPT は、易占いでかなり優れた結果を残すことが知られている。1月に私が試したときはうまくいってなかったのは、私のプロンプトがまずかったということか…。

《【AI占い】意外な真実！ChatGPTは「易」が得意だった.. | ～ 人生を変えたいあなたへ 〜 あなたの未来に輝きを与えるブログ》  
https://ameblo.jp/uranai-tenkyu/entry-12791858182.html

それはそれとして、オープンな AI を使って易占いができるかやってみようとした。OpenCALM か Rinna かどちらにやらせるか迷ったが、OpenCALM は質疑用にはユーザーがファインチューンしたモデルしかなく、Rinna は質疑用にファインチューンしたモデルがあらかじめあるので、Rinna を選んだ。

Rinna の sft-v2 を使った結果が↓。まず few-shot learning 用に詳しい指示を、次に最初から知識があることを前提に簡単な指示を試したが、詳しい指示を与えたとき否の卦での占いが失敗しているように見える。

《rinna_yijing_test.ipynb》  
https://gist.github.com/JRF-2018/92e0099c357d8aa7302ebf8ac961b366

Rinna の ppo を使った結果が↓。詳しい指示を与えたとき否の卦での占いはやはり失敗している。簡単な指示も比の卦が「天火同人」(同人の卦の説明)と説明され失敗している。否の卦でも失敗している。

《rinna_yijing_test_ppo.ipynb》  
https://gist.github.com/JRF-2018/1d93efb9b85a95ea8fc771b4af818070#file-rinna_yijing_test_ppo-ipynb