PAR 続き。 vicuna-13b はモデルが大き過ぎて Google…

jrf> PAR 続き。

vicuna-13b はモデルが大き過ぎて Google Colabo Pro だと GPU を A100 にしても GPU メモリが足りなかった。orz

そこで opencalm-3B を使ってやってみた。

《embedding_vector_test.ipynb》  
https://gist.github.com/JRF-2018/b664ddfd4fc22ee7bd260e59aba20556

やってみると、ベクトル化はまったくといっていいほど時間がかかない様子だった。その点は思ったよりもよかった。使えそうだった。先に「ベクトル化は時間かかりすぎかも」…と言ったのは私の間違いだった。

ただし、記述のベクトルで似てるはずの「吾輩は猫である」と「私は猫です」が離れ過ぎており、類似性の判定としては役に立っていない。その意味ではこの方法に疑問符が付く。