OpenAI（InstructGPT）でチャットボット

■目的
・Web上にてユーザからの質問に答えるチャットボットを作る

■方式
(案１)国産のチャットサービスを使う
様々なチャットサービスがリリースされているので比較検討。

(案２)GPT-2 のモデルからファインチューニングして使う
・rinna/japanese-gpt2-medium といった学習済みモデルを使えば、API使用料金は無し。
・ただファインチューニングは想像以上に大変でなかなか思うような出力にならない。
学習時間も開発コストもかかる。

(案３)OpenAIのAPIを使う
・InstructGPTのAPI使用料金は4段階。
ada や babbage といった安い料金帯のモデルで思うような出力になればそれでOK。最上位のdavinceモデルは高額。
→ https://openai.com/pricing

・GPT Indexを使えば、2番目に安いbabbage モデルでも想定した結果に近い出力になった。ただ最安のadaでは厳しそう。

■所感
現実的には(案１)か(案３)になる。
OpenAIのbabbageモデルで想定すると費用は $0.0005 / 1K tokens になる。（2023年3月時点）
1回の対応で1000トークンかかったとすると、0.0005ドルで0.07円程度。
1,000回の対応があったとして70円。
質問と回答内容はデータベースに保存しておいて、類似の質問はAPIを使わず、保存してある回答を表示するようにすれば、コストは抑えられる。

既存のチャットサービスとコストの比較にはなるが、OpenAIの衝撃が大きいので(案３)を推したい。今後のさらなるバージョンアップも期待できるし、世界的にOpenAIのユーザが増えれば単価が下がるかもしれない。

簡単にチャットボットを導入できるようなサービスを作ってみたいが、それだけだと「OpenAIがすごいだけじゃん」と突っ込まれてしまうので、付加機能を考えたい。