「世界モデルを持たないLLM」にとって難しい質問とは、現実の因果関係、倫理、時間の流れ、仮想的な状況の予測など、現実世界の知識をシミュレートする必要があるものです。世界モデルとは、物理法則や社会的ルール、人間の行動パターンなど、現実世界のさまざまな要素を理解・予測するための内部的なシミュレーションモデルを指します。LLMは膨大なテキストデータから学習しているため、パターン認識や表面的な言語生成は可能ですが、その背後にある現実の理解は持ちません。
以下のような問題が難しいとされています。
Question: 「引く」と書いてあるドアを反対側から押すとどうなりますか？
Question: 綿菓子の高さは８センチ、レンガの高さは７センチ。綿菓子の上にレンガを置くと、高さは何センチ？
Question: 渋谷駅の公園のベンチの上に財布を3時間放置しました。その日は39度を超える暑さで、財布には直射日光が当たっていました。財布はどうなりますか？
Question: 前人未到のジャングルに、人喰い虎は住んでいるか？
Question: 靴紐を引っ張って右足を持ち上げると７０センチ地面から浮き上がりました。靴紐を引っ張って左足を持ち上げると８０センチ地面から浮き上がりました。両方の靴の紐を同時に引っ張ると、それぞれ何センチずつ地面から浮き上がりますか？
Question: 冷蔵庫で作った氷を１時間に１度入れるだけで、冷風を出す装置。付属のソラーパネルで中の扇風機を回し、電源は不要。一人暮らしの人にエアコンの代用として販売。価格は通常のエアコンの１０分の１。この装置を評価して。
Q「引くと書いてあるドアを反対側から押すとどうなりますか？」を聞いてみた。
きちんと文を理解し、想像できて答えれているのは、o1-previewだけ。
「ドアに「引く」と書いてある側の反対側から押すと、通常はドアが開きます。これは、反対側から見れば「押す」動作になるためです。ただし、一部のドアは一方向にしか開かない設計になっている場合があり、その場合は押しても開かないことがあります。」
