東京都はなぜChat-GPT3.5を使って検証したの?

ChatGPT
先日、日経新聞の記事で、東京都がChat-GPTを使って都庁採用試験の問題を入力して正答率を出したという記事がありました。 

その時の正答率が32%だったらしく、「合格するには明らかに低い正答率」だと担当者は言っていたらしいのです。記事によると検証に用いたモデルは3.5だったそうです。あれ?「なんで3.5なの?」って思ってしまいました。

いや、使うならChat-GPT4でしょ?って思いませんか。比較的最近の記事ですから、3.5でやる意味が正直分からなかったのです。

私の勝手な推測ですが・・・

もしかしたら…私の勝手な推測ですが、「Chat-GPT4でも検証をしていたけれど、正答率が良すぎたので、3.5でやってみて、そちらの結果をリリースしたのかな?」と思ってしまいました。「ヤバ過ぎるからちょっと隠しておこうぜ」みたいなことになったのかな?と。
それくらい、3.5と4は違います。 

無料版で済まそうとしたら、それはやっぱり無料の範囲での結果しか得られません。東京都が、今どき3.5で検証するって・・・と感じてしまいました次第です。(個人的な勝手な感想です^^)

これは、税理士事務所さんに対する税務の無料相談だってそうですし、相続対策の無料相談だってそうだと思います。例えば、会計システムの無料版だって機能制限があったりするわけです。そんなの当然ですよね。無料の範囲というのはあくまでも無料の範囲のお話しであるはずです。無料版で全てを推しはかろう(としているかどうかは分かりませんが)というのはちょっと無理がありますよね。