最近ニュースでもよく話題になるChatGPT。
多様な方法で利用されている良い面もありますが、「嘘の回答ばかりだ」という声もしばしば耳にします。
実際にChatGPTは嘘ばかりつくのでしょうか？なので今回はChatGPTが嘘つきだという疑惑を明らかにするために、ChatGPTが本当に嘘ばかりつくのか、実際に検証を行って得られた回答例をもとにして
- 嘘をつく現象が起きる原因
- 嘘をつかせない方法の有無
について解説していきます！
※2024年5月13日に、ChatGPTの新しいLLM「GPT-4o(オムニ)」が登場しました！以下の記事で詳しい概要や使い方について解説していますので、合わせてチェックしてみてください。
ChatGPTは嘘の回答しか言わない？検証してみると
それではまず、ChatGPTの回答内容が嘘ばかりなのかを
- 計算問題を解かせる
- 歴史上の事実について質問する
- 最近起こった時事問題について質問する
これら3つの項目に分けて検証していきます。
ChatGPTへの質問パターン①：計算問題
では最初に2桁の数字を使った簡単な掛け算と足し算をChatGPTに計算させてみます。
10+11×12の答えは142なのでこれはChatGPTが正しいですね。
では4桁の大きな数字で計算させてみるとどうなるでしょうか？
1234×5678の答えは7,006,652なので、たしかにChatGPTの回答は間違っていることがわかります。
ChatGPTと計算問題について解説した記事もあるので良ければご覧ください。
ChatGPTへの質問パターン②：歴史上の事実
続いては、日本において一般常識である日本史の歴史的事実を質問してみます。
確かに織田信長は本能寺の変で明智光秀に敗れ、死んだのでこの回答は正しいといえますね。
ChatGPTへの質問パターン③：時事問題
それでは最後に時事問題について質問します。
令和5年5月8日から5類感染症に位置づけられたコロナウイルスについて尋ねても、ChatGPTは、持っている知識が2021年9月までのものだということを主張し、明確な回答は得られませんでした。
なので2021年9月までにあったビッグイベント、東京オリンピックについて質問してみました。
2021年東京オリンピック最終聖火ランナーは”大坂なおみ”さんなのでChatGPTは嘘の情報を回答していることになります。
3つの検証結果から、ChatGPTは質問によっては確かに嘘をつくことがわかりました。
特に、嘘の出来事をあたかも事実のように回答しており、行った検証のうち約半分が誤回答だったのでChatGPTは嘘ばかりつくと思う人もいるかもしれません。
なぜChatGPTは嘘をつくのか、嘘をつく現象の原因
それではChatGPTがこのように嘘をつく理由について解説します。
ChatGPTが嘘をつくのには大きく分けて、主に3つの要素があります。
ChatGPTが嘘をつく原因①：正しい回答をする仕組みではないから
ChatGPTが嘘をつく原因の1つ目はChatGPTの仕組みにあります。
ChatGPTは、膨大なデータの中から質問されたことに対して確率的に正しそうな内容の文章を作成する仕組みになっています。学習したデータの中から確率的に可能性の高い言葉を組み合わせて文章を作っているだけなので実際には正しくない内容の回答も文章の中に含まれてしまうのです。
こちらの記事ではさらにかみ砕いた説明をしているのでもっと詳しく知りたい方はご覧ください！
ChatGPTが嘘をつく原因②：土台となるデータに問題がある
ChatGPTが嘘をつくと言われる原因の2つ目は、ChatGPTが使用しているデータの不確実性にあります。
ChatGPTは大量のデータを用いてトレーニングされていますが、その中に誤った情報や矛盾した情報が含まれることがあります。また、ChatGPTはインターネット上のデータを利用しており、そのデータの正確性や信頼性が、ChatGPTの回答の精度に大きく左右します。
また、ChatGPTが持つデータそのものの古さもChatGPTが嘘をつく原因関係しています。
先ほどの検証3つ目でも実際にChatGPTが回答したように、ChatGPTを運営している会社、”Open AI”が2023までの情報しかChatGPTに搭載していないので、それ以降の質問に関しては間違った情報が含まれてしまいます。
そのため、最近の出来事などをChatGPTに質問しても正しい回答が得られないのです。
これらChatGPTの持つデータベースの不確実性・古さが、ChatGPTが嘘をつく原因のうちの2つ目に挙げられます。
ChatGPTが嘘をつく原因③：質問を理解することが難しい
ChatGPTが嘘をつく原因の3つ目の原因として、ChatGPTが私たちの質問を理解できない場合があることが挙げられます。
ChatGPTは、自然言語処理や質問者の文脈理解に限界がある状況下ではあいまいな情報や嘘の回答をする場合があるからです。
ChatGPTに嘘をつかせない方法はある？
それではChatGPTに嘘をつかせない方法はあるのでしょうか？嘘をつかせない方法の有無について解説します！
ChatGPTに嘘をつかせない方法：WEBブラウジング機能
ChatGPTのWebブラウジング機能は、インターネット上での情報検索やウェブサイト閲覧を可能にする機能です。
この機能を使うと、最新のニュース、特定のトピックに関する情報、実際のウェブサイトの内容など、インターネット上のリアルタイムの情報にアクセスできます。
具体的には、以下のような例があります。
- 検索: 特定のキーワードやフレーズに基づいてインターネットを検索し、関連するウェブサイトのリストを表示します。
- ウェブページの閲覧: 検索結果から選択したウェブページの内容を表示します。
- リアルタイム最新情報の取得: 最新のニュース記事、天気予報、スポーツのスコア、イベント情報など、時系列で変化する情報の取得が可能です。
- 質問への回答の向上: インターネット上の最新情報を元に質問に答えることができるため、より正確で現在の情報に基づいた回答が可能になります。
WEBブラウジング機能は、ChatGPT Plusに加入している方のみの機能とはなりますがかなり正確性が上がるので、是非活用してみてくださいね。
※ChatGPTのWEBブラウジング機能については、以下の記事で解説しています。
なるべく嘘をつかせない方法
先ほどChatGPTに嘘をつかせない方法はないと述べましたが、実は、なるべく嘘をつかせない方法なら存在します。
それは、ChatGPTを利用するときに「プロンプト」を使うことでChatGPTの回答の精度を上げるという方法です。
プロンプトを使いChatGPTへの質問の条件指定を行うことで、ChatGPTが参照する膨大なデータの範囲を特定のものにし、さらにChatGPTが質問意図を誤解するのを防ぐことができ、回答の精度を上げることができるのです。
他の記事でプロンプトを応用した使用方法をいくつか紹介しているので興味があればご覧ください！
まとめ
ChatGPTが嘘をつくのか、また、なぜ嘘をついてしまうのか、その理由について解説してきましたが、いかがだったでしょうか？
この記事をまとめると、
- 3つの検証例のうち、ChatGPTは計算問題と時事問題で嘘をついた
- ChatGPTが完璧に正しい答えを出すような仕組みではないこと、データベースの正確性・データが2021年9月までのものである（データが古い）こと、文脈理解の難しさなどの問題がChatGPTが嘘をつく現象を引き起こす
- ChatGPTに全く嘘をつかせない方法は「WEBブラウジング機能」を使う
- 回答の精度を上げる（なるべく嘘をつかせない）ためにはプロンプトの利用が効果的
でした。
ChatGPTを使う際は、嘘をつくことを前提として、そのうえでChatGPTを有効活用する方法を知ることが大切ですね！
- ChatGPTで〇〇を効率化したい
- スライドを作るならどのAIツールがおすすめ？
- おすすめのGPTsが知りたい
同じ悩みを解決した人がいるかもしれません。ぜひ質問してみてください！
