数字に弱いLLM。AIは性能が上がっても癖がある。

有名な実験
「『すもももももももものうち』を3回繰り返した文字列は何文字？」
正解は、36文字ですがAIはこう言った計算が苦手です。ChatGPTのVer5.2はこう言った計算を間違いなくなったと言いますが不安定。そこはあまり信用しないで「計算するなら、このプロンプト」というものを知っておく必要があります。

今回は、「数字」を例にしましたが他にも様々な「癖」「傾向」があります。
これは、AI使ってリテラシーを上げていく必要があると思います。