ChatGPTの回答は間違いだらけ?GPT-4oでは精度が上がった! | romptn Magazine

ChatGPTの回答は間違いだらけ?GPT-4oでは精度が上がった!

ChatGPT

2022年11月にリリースしてから話題が尽きないChatGPT。

ですが、ChatGPTについて検索すると、「間違いだらけ」「嘘ばかりつく」という評判を目にします。

今回は、ChatGPTがなぜ嘘をついてしまうのか、嘘をつかせない方法があるのかどうかをChatGPT本人にも聞きながら確かめていきたいと思います。

今回は

  • ChatGPTはなぜ間違いだらけになってしまうのか
  • 今後改善することや気を付けるべきことがあるのか

について解説していきます。

2024年5月時点の情報となっています。ChatGPTの精度は上がっていく可能性があるので、その点ご注意ください!

※2024年5月13日に、ChatGPTの新しいLLM「GPT-4o(オムニ)」が登場しました!以下の記事で詳しい概要や使い方について解説していますので、合わせてチェックしてみてください。

スポンサーリンク

ChatGPTの回答が間違いだらけなのはなぜか

ChatGPTの回答が間違いだらけ、と言われてしまうことについて、ChatGPTの仕組みの観点から解説していきます。

その仕組みを踏まえると、どのようなタスクが得意なのか、どんなことをさせるのが良いのかも見えてきます。

ChatGPTの仕組み上、正確性は担保されていない

ChatGPTは、この言葉に対してはこの言葉が続くだろうという確率を計算し、次に来る単語を決めています。

その仕組みをブラッシュアップし続けた結果、なるべく自然な言語に近い文章を作ることができるようになりました。

そもそも正確な発信をしようという目的で作られていないのです。

特に、抽象的なものについてやウェブ上に情報が多く出ていないものについては、デタラメや間違いを出力することが多いです。

また、日本語は英語よりウェブ上のコンテンツが少なく、学習量が少ないです。それが日本語版ChatGPTが間違いだらけになる理由の一つになります。

※ChatGPTの全体的な仕組みについて解説した記事もありますので、気になった方はぜひそちらもご覧ください。

ChatGPTに間違い・嘘をつかせない方法はある?

では、現時点でChatGPTに間違い・嘘をつかせない方法はあるのでしょうか?

残念ながら現時点ではChatGPTに間違いや嘘をつかせない方法はありません

もちろんChatGPTにはフィードバックの機能もありますし、今後学習を重ねていく上で改良していく可能性はあります。

ただ、先ほど解説したように、ChatGPTはもともと文章を作成するためにつくられたAIです。そのため、情報を正確に伝えるためのツールではありません。

正解が存在する質問など、ChatGPTの言っていることを完全に信用することは避け、あくまでも参考にする程度にしましょう。

【追記】WEBブラウジング機能を使えば正確な情報を得られる!

ChatGPTのWebブラウジング機能は、インターネット上での情報検索やウェブサイト閲覧を可能にする機能です。

この機能を使うと、最新のニュース、特定のトピックに関する情報、実際のウェブサイトの内容など、インターネット上のリアルタイムの情報にアクセスできます。

具体的には、以下のような例があります。

  • 検索: 特定のキーワードやフレーズに基づいてインターネットを検索し、関連するウェブサイトのリストを表示します。
  • ウェブページの閲覧: 検索結果から選択したウェブページの内容を表示します。
  • リアルタイム最新情報の取得: 最新のニュース記事、天気予報、スポーツのスコア、イベント情報など、時系列で変化する情報の取得が可能です。
  • 質問への回答の向上: インターネット上の最新情報を元に質問に答えることができるため、より正確で現在の情報に基づいた回答が可能になります。

2024年5月現在では、ChatGPT Plusに加入していなければWEBブラウジング機能を利用することはできないので注意が必要です!

※ChatGPT Plusの加入方法については、以下の記事で解説しています。

※ChatGPTのWEBブラウジング機能については、以下の記事で解説しています。

【2024/05/18追記】最新モデルGPT-4oでは間違いが少なくなった!

2024年5月13日にOpenAIから、新しい高性能モデル「GPT-4o」がリリースされました。

このモデルでは2023年12月までの情報を学習しており、回答精度も格段に高くなっています!

OpenAIより

ですので、以前は「ChatGPTは間違いだらけ?」という噂がささやかれていましたが、現在はかなり間違う頻度は少なくなっていると思われます!

GPT-4oは有料版のみの利用となりますので、気になる方は以下の記事を参考にChatGPT Plusに加入してみてくださいね。きっとその性能に驚かされるはずです。

ChatGPTには得意タスクをさせよう:要約や翻訳

正確なことを言わないChatGPTを何に使うんだ、ということを考える方もいらっしゃるかもしれませんが、ChatGPTにも特徴を生かした得意なことがあります。

それが翻訳や要約です。

ChatGPTに一応聞いてみました

前述したとおり、ChatGPTは大量の文章を読み込んで、一般的に正しいものつまり大多数が正解としているものを回答にします。

そのため、自然な言語生成や対話、文脈の把握が得意なのです。

さらにChatGPTは様々な言語を習得しています。

そのため、外国の言葉を違う言語に変換し、その言語のルールではどういった単語の並びが正しいのかを再度考えるだけで翻訳が完了するという仕組みです。

要約も同じように、いろんな文章を参考にして作者が主張として持ってきやすいのはどこなのか、どのような接続詞を使ったら結論が近いのかを確率的に計算しています。

AIが一番得意とする領域であるため、ChatGPTにとっては朝飯前なのです。

ただし、要約や翻訳が得意とは言っても、メジャーではない言語や専門性が高い分野になるとデタラメや、誤情報を回答してしまいますので、情報の正確性については使用者が確かめる必要はありますね。

間違いが少ないAIチャットツール:Perplexity

ChatGTPと異なり、正確な情報に強みがあるAIもあります。それがPerplexityです。

PerplexityのリリースはChatGPTと同じ時期なのですが、ChatGPTが人気過ぎて影となってしまっていたAIが今話題になっています。

このPerplexityは、ChatGPTと違う点が2点あります。

  • 出典を明記してくれる
  • 自身で調べて回答してくれる

1つ目は出典を明記してくれるところです。どこから情報を引っ張ってきたのかを明記してくれています。

そのため、回答が少しずれていたとしても出典を直接確認すれば、AIの事実誤認なのか記事が誤情報を書いているかを確認できるところが良いですね。

2つ目は、PerplexityはWEB上で情報を集めて要約することを高速で行い回答するため、最新の情報でもPerplexity自身で調べて回答してくれます。

ですがこちらもChatGPTと同様、聞きたい情報が専門的であったり、WEB上に正しい情報があまりない時には事実誤認してしまい、デタラメを回答してしまったりすることはあるそうです。

※Perplexity AIの使い方については、以下の記事で解説しています。

【検索】AIツール「Perplexity AI」の機能や使い方・メリットを詳しく解説-おすすめAIツール一覧
Perplexity AIは、テキストやPDFファイルをアップロードして、個々の検索アシスタントとして機能するプラットフォームです。

ChatGPTが間違いだらけの状態は今後改善される?

この間違いだらけの回答をしてしまうことがある、ChatGPTは今後改善されていくのでしょうか

先ほども説明したように、文書情報をさらに読み込み学習をしたり、フィードバックの数が集まるほど、解決していくのではと思われます。

ChatGPTにも聞いてみました

ChatGPTも回答しているように、開発者の方にもアルゴリズムやトレーニングデータの追加などやってもらうことはたくさんあります。

使用者である私たちがフィードバックを送り、良い回答と誤回答を学習することは、ChatGPTが成長するために欠かせない要素です。

AIは情報が集まれば集まるほど学習できるものです。

まとめ

なぜChatGPTが嘘をついてしまうのか、間違いだらけの情報を回答してしまうかについて解説してきましたが、いかがだったでしょうか

この記事をまとめると、

  • ChatGPTは大量のデータから学習しているため、学習しているものがデタラメだと間違ってしまう
  • なるべく嘘をつかせないためには質問などの仕方を考えること
  • 私たちがフィードバックしていくと学習していく
  • 翻訳や要約はChatGPTは得意分野
  • Perplexityのような間違いが少ないAIもある。

でした。

ChatGPTやAIを使う場合は、嘘をついてしまうことを前提として、質問したことをもとに自分でも調べてみることや、Perplexityのように出典を提示してくれるのであれば出典を見に行くことが大切です。

romptn Q&Aで質問してみませんか?
romptn Q&Aは、AIに関する質問プラットフォームです。
  • ChatGPTで〇〇を効率化したい
  • スライドを作るならどのAIツールがおすすめ?
  • おすすめのGPTsが知りたい
といったことはありませんか?
同じ悩みを解決した人がいるかもしれません。ぜひ質問してみてください!
ChatGPT
スポンサーリンク
romptn Magazine