すごく賢く人間らしい会話ができると話題のChatGPTですが、計算ミスをする、という声もあります。
実際、ChatGPTはどのくらいのレベルの計算問題を解くことができるのでしょうか？
また、間違えてしまうChatGPTを間違えずに計算させる方法はあるのでしょうか。
この記事では、ChatGPTの計算能力について細かく検証していきます。正しく解かせる方法を知りたいよ、という方は目次から飛んでみてください。
※2024年5月13日に、ChatGPTの新しいLLM「GPT-4o(オムニ)」が登場しました！以下の記事で詳しい概要や使い方について解説していますので、合わせてチェックしてみてください。
ChatGPTは計算できない？実際に計算させてみた結果
実際にChatGPTに計算問題を解かせてみましょう。
間違えそうな多少難しい計算問題を出してみました。
①素因数分解
正しいですね！解説もしてくれました。
②桁が多めの掛け算
こちらも正しいですね。
③因数分解
④平方根の計算
結果としては正しいですが、小数点は出ないはずなので、微妙ですね。
しかし、2024年現在の回答では
小数点の間違いがなくなっています。少し改善されているのでしょうか。
⑤累乗の計算
答えは4,826,809なので、計算ミスしてしまっていますね。
しかし、2024年3月に試してみると、以下のように正しい答えが返ってきました！
いかがでしょうか。最初は簡単な計算問題も間違えていたそうですが、学習が進んだ結果ある程度は正しい結果が出力できるようになっていますね。
2023年の結果では正しい答えが返ってこなかった平方根や累乗の計算は、1年たって2024年現在はだいぶ改善がなされていると言えそうです！
2024年5月にGPT-4oが登場しましたが、計算の正確度はもちろん、回答の速度が格段に上がっています！
92％が解けないと話題になった「7＋7÷7＋7×7－7」という計算もお手の物でした…！
こちらのGPT-4oは有料のChatGPT Plusに入ることで利用できます。
Gemini(旧：Bard)に計算をさせるとどうなるか
ちなみに、ChatGPTのライバルとも言える、Googleが開発したAIであるGemini(旧Bard)だとどうなのでしょうか？
同じ問題を出してみました。
①素因数分解
正しいですね。しかも、計算方法についても詳しく解説してくれていますね。
②桁が多めの掛け算
こちらも正しいです。電卓での計算方法も教えてくれました(笑)
③因数分解
かなり丁寧に説明してくれました！もちろん正解です。
④平方根
ChatGPTと違い、かなり丁寧に回答してくれました。こちらも正解ですね。
⑤累乗の計算
こちらも正解です。
GeminiとChatGPTで比較すると、計算に関してはGeminiに軍配が上がりそうです。
ChatGPTが計算を間違えてしまう理由
では、なぜChatGPTは計算を間違えてしまうのことがあるのでしょうか？
まず、ChatGPTの原理として基本的に人間の言語を模倣しており、具体的な質問の「意味」を理解する能力は持っていません。
そのため、それが数学的な計算であろうと何であろうと、それが要求されるとき、ChatGPTは人間がその状況で最も可能性が高いと思われる返答を選んで出力します。
つまり、原理としてChatGPTは具体的な計算問題を解いているわけではなく、その答えを「推測」しているに過ぎません。そのため、計算結果が間違っていることも少なくありません。
しかし、逆に考えれば、途中式などを出力させることにより、ChatGPTはより正確な答えを導きやすくなるかもしれません。
また、比較対象としてよく挙げられるGemini(旧Bard)が計算問題に強い理由は、その開発時にGoogleが計算に関するプログラムを組み込んでいるからです。（公式で発表している）
これにより、Geminiは数学的な計算問題に対してより精度の高い答えを出すことが可能になるのです。
ChatGPTの仕組みを学べばよく分かると思うので、気になる方は以下の記事をご覧ください。
ChatGPTに計算問題を正しく解かせる方法
では、最後にChatGPTにどのような命令を与えれば、計算ミスをせず正しく計算してくれるのか解説していきます。
やり方はシンプルで、ChatGPTと会話をしながら求めていくというだけです。
ただ、これをやるためにはある程度数学的知識は必要になってしまうので注意です。
今回は、東大の2023年の数学の入試問題を解かせてみました。
数学が苦手な人にとってはちんぷんかんぷんで難しいかもしれませんね。
ChatGPTの回答は以下です。
本当は徐々に求めてもらうつもりが、最初に解き方の正解を出されてしまいました。
実は、これで計算も解説も完璧です。
ただ、問題はこのあとで、ChatGPTは確率pの計算がうまくません。
一応、言えば出してくれますが、代入以降の計算が間違ってしまっていますね。
ここは辛抱強く、解法を教えてあげるしかないです。ChatGPTの間違いに気づき解法を教えるのが難しい部分かもしれません。
打ち消しは理解してくれたものの、何故か12*11*10*9が分子に来てしまっています。
このあたりを一個ずつ教え込んでいけば、いずれ答えに辿り着きます。（今回はあまりに面倒なので一度省略させてください。）
ちなみに、この手法が分からなければChatGPTが答えてくれます。
ChatGPTは解法などについてはかなり詳しいので、ChatGPTに計算方法だけ聞いて最後の計算部分だけGeminiに任せる、という流れで良いかもしれません。
【2024年3月追記】ChatGPTは正確に解けるようになった？
前述したとおり、2023年時点では計算方法が全く間違っていましたが、2024年3月時点でChatGPTに聞いてみると、なんと正解を回答してくれたのです！
ということで、計算が苦手なイメージのあるChatGPTですがかなり計算の精度が上がっているようです！
ChatGPTが計算が苦手な理由まとめ
いかがだったでしょうか？
この記事をまとめると、
- ChatGPTは計算問題がやはり苦手で、具体的な計算は割と間違える
- 計算問題であればChatGPTよりもGoogleのGemini(旧Bard)のほうが精度が高い
- ChatGPTに正しく計算させるためには、一個ずつ解説させれば良いが、やはり計算は苦手なため、計算はBardにやらせたほうが良いかもしれない。
- 【2024年3月追記】ChatGPTの計算精度はかなり上がっており、正解を回答してくれることが多くなった！
でした。
Romptnでは他にもChatGPTに付いて解説していますので、ぜひ参考にしてください。
- ChatGPTで〇〇を効率化したい
- スライドを作るならどのAIツールがおすすめ？
- おすすめのGPTsが知りたい
同じ悩みを解決した人がいるかもしれません。ぜひ質問してみてください！
