【図解あり】ChatGPTの仕組みを簡単・わかりやすく解説! | romptn Magazine

【図解あり】ChatGPTの仕組みを簡単・わかりやすく解説!

ChatGPT

2024年に入った現在、日本でも「ChatGPTというやつがすごいらしい」という情報がしきりに取り上げられるようになりました。無料で公開されたChatGPT-3.5については、わずか1週間で100万人、1ヶ月あまりで1億人が使ったそうです。

先日新しいモデル「GPT-4o」が発表された現在では、月間18億人ものユーザーが利用しているんです。

ただ実際、ChatGPTの何がすごいのか、今までのAIとは何が違うのか、どんな仕組みで動いているのかわかっていない方が多いのではないでしょうか?

インターネットでChatGPTについて調べると、専門的な記事が多く、わかりやすく解説している記事が少ない状態です。

この記事では、ChatGPTの仕組みについて、小学生が読んでもわかるくらい簡単に解説していきますので、ぜひ最後までご覧ください。

※ChatGPTの新しいLLM『GPT-4o』については、以下の記事で解説しています。

スポンサーリンク

ChatGPTとは

まず、ChatGPTの基本情報を確認していきましょう。せっかくなので新しいモデル「GPT-4o」に聞いてみました

筆者
筆者

ChatGPTとはなんなのか、小学生でもわかるように教えて!

ChatGPT-4o
ChatGPT-4o

ChatGPTは、インターネット上で質問に答えたり、文章を書いたりすることができるコンピュータープログラムです。チャットボットと呼ばれることもあります。

これをもう少しわかりやすく説明すると、ChatGPTは、たくさんの本やウェブサイト、文章などを読んで学んだロボットのようなものです。みんながチャットのように質問をすると、それに対して答えることができるんです。

例えば、ChatGPTに「犬はどうして吠えるの?」と聞くと、犬が吠える理由について説明してくれます。宿題の質問やゲームのこと、好きな食べ物についても話すことができます。

人間が話すように答えることができるので、コンピューターと話している感じがしないくらい自然に感じるかもしれません。

こんな感じで、ChatGPTはみんなが質問に答えたり、助けたりするためのとても賢いコンピュータープログラムなんだよ。

だそうです。賢いですね〜。

ChatGPTが回答を生成する仕組み

では、ChatGPTの仕組みについても、わかりやすく解説してもらいましょう。

筆者
筆者

ChatGPTの仕組みについて、私が生徒役をやるので先生役として解説をしてほしいです。


生徒:ChatGPTはどのような仕組みで違和感のない文章をつくりあげているんですか?

ChatGPTの仕組みを簡単に言うと、最もそれっぽい(確率的にありそうな)言葉をつなげていくというものです。

ChatGPT-4o
ChatGPT-4o

先生: それはいい質問ですね。ChatGPTが自然な文章を生成するためには、いくつかの重要なポイントがあります。

1. 大量のデータで学習する: ChatGPTは、インターネット上のたくさんの文章を読んで学習しています。例えば、本、記事、ウェブサイトなどです。この大量のデータを使って、文章のパターンやルールを覚えます。

2. 人工知能のモデル: ChatGPTは「GPT」という人工知能のモデルを使っています。GPTは「Generative Pre-trained Transformer」の略で、文章を生成するために特別に設計されたモデルです。このモデルは、入力された文章を理解し、それに基づいて適切な返答を生成します。

3. パターン認識: モデルは、たくさんのデータからパターンを学びます。例えば、質問文にはどんな返答が一般的か、文章の文法や語順などです。こうして学んだパターンを使って、自然な返答を作り出します。

4. 文脈の理解: ChatGPTは、文章の前後の文脈を理解する能力があります。これは、単に単語を並べるのではなく、全体の意味を考えながら文章を作ることを意味します。こうすることで、前後の文脈に合った自然な文章を生成することができます。

5. 微調整とフィードバック: ChatGPTは、最初から完璧なわけではありません。開発者は、生成された文章を評価し、改善点を見つけて微調整を行います。また、ユーザーからのフィードバックも重要で、それをもとにさらに改良されます。

筆者
筆者

なるほど!たくさんのデータと人工知能のモデルを使って、文章のパターンを学んでいるんですね。それで自然な文章が作れるんだ。

ChatGPT-4o
ChatGPT-4o

先生: そうです、その通りです。大量のデータと高度な技術を使って、できるだけ人間らしい自然な文章を作るようにしているんです。

とってもわかりやすいですね。

つまるところ、ChatGPTとは、WEB上のコンテンツを学習し、入力された言葉から次に来る可能性が高い単語を予測し出力するAIというわけです。

続きそうな言葉をつなげていく仕組みを大規模言語モデル(LLM:Large Language Model)と呼びます。ChatGPTでは、GPT-3.5というLLMが用いられています。(ChatGPT-4の場合はGPT-4)

ChatGPT回答プロセスの図解

ChatGPTは図解を作成することもできるので先ほどの例を図解に表してもらいました。

「太陽はどの方向から登りますか?」と質問したときのChatGPTの回答プロセス

ChatGPTが自然な回答をする仕組みはアルゴリズムにあった

根幹となる大規模言語モデル(LLM)については理解ができたと思いますが、ここで疑問を持った方もいるのではないでしょうか?

読者さん
読者さん

WEB上のコンテンツを学んだだけだと、知識は身につくかもしれないけど人間らしい返答ができるわけではないんじゃない?

実はそのとおりで、実はただ大規模言語モデル(LLM)に基づいて出力するだけだと、ユーザーにとって信頼できない、もしくは有害なものであることも多かったのです。

そもそも人間の思うように出力するよう設計されていないですからね。

そこで行ったのが、人間のフィードバックによる強化学習(RLHF:Reinforcement Learning from Human Feedback)によるファインチューニング(微調整)です。

OpenAIによると、以下の順序で学習を行いアルゴリズムを設計したそうです。

ChatGPTの学習フロー・アルゴリズムの解説
  • 1
    教師ありファインチューニング(SFT:Superviserd Fine Tuning)

    実際にユーザーが入力したデータ(プロンプト)をラベル分けし、人の手で適切なレスポンス(返答)を作った。この会話プロンプトを13,000件ほど集めたとのこと。この会話データをもとにGPT-3のチューニング(微調整)行った

  • 2
    リワード(報酬)モデル

    SFTで学習したあとの出力をラベル付担当者がランク付けを行いました。
    この評価方法を用いて、更に学習させる

  • 3
    強化学習

    リワードモデルを用いてSFTモデルによる出力結果を評価し、評価が高くなるように最適化をすすめる

ChatGPTの学習フロー 出典:https://arxiv.org/pdf/2203.02155.pdf

ちなみに、従来のチャットボットはあらかじめプログラムされた学習データに基づいて回答するのでChatGPTのように自然で柔軟な回答をすることができません。事前に設定された質問と回答に基づき対応する点がChatGPTとの仕組みの違いです。

もう少し具体的に解説をすると、ChatGPTは「InstructGPT」という大規模言語モデルがベースとなっています。InstructGPTとは、インターネット上で学習したデータを基にしつつ、より人が好む文章を作成するようにファインチューニングしていくことです。

これらの手法を先ほども解説したように、RLHF(Reinforcement Learning from Human Feedback)と呼ばれ、人が事前に正解のデータを入力・修正し、出力された文章とそれらを比較することで、良し悪しを判断し学習していきます。

学習量が多い言語ほど精度が高くなる

先程の内容を踏まえると、どうしても日本語だと精度が低くなってしまう理由も理解できるのではないでしょうか?

ChatGPTは、言語の学習量によって精度が向上します。

そして、WEB上には英語のコンテンツが非常に多く存在し、英語のデータセットが充実しています。

英語と比べると、日本語の情報量はどうしても少ないというわけです。

出典:https://en.wikipedia.org/wiki/Languages_used_on_the_Internet

より学習量が増えたモデルであるChatGPT-4のほうが精度が高い

現在、無料で使えるChatGPTはGPT3.5GPT-4というモデルになります。(2024年5月のアップデートで利用可能になりました!)

実は2023年3月に、ChatGPT-4というより学習量を増やしたモデルが公開されたのですが、GPT-4であればかなり精度の高い回答をしてくれます。

2024年5月に公開された、GPT-4oでは学習量は変わっていません。(精度は上がりました)

以下は、ChatGPTに星新一風のショートショート小説を書かせたときの出力です。GPT3.5の方だとあまり中身が無いですが、GPT-4oの方はきちんとオチも付いていて小説として成立していますね。

星新一:ショートショート小説の神様、と呼ばれるSF短編小説作家。

筆者
筆者

あなたは作家の星新一です。 「ダルマ」をテーマにし、ショートショート小説を作成してください。

Chat GPT3.5の場合
ある寺には、いにしえから続くダルマがあった。そのダルマは、古い年代記にも記されたほど古いもので、寺の宝物として大切に守られてきた。ある日、寺の住職がダルマを拝んでいたところ、突然ダルマが動き出した。
住職は驚き、その場に倒れ込んだ。しかし、ダルマは転がりながら部屋を出て、寺の境内を歩き始めた。周囲の人々は大混乱に陥り、何が起こっているのか分からなかった。

ダルマは境内を歩きながら、人々に話しかけた。「私は、この寺の宝物であるダルマだ。長い年月を過ごした結果、私には意思が芽生えたのだ。私は、この寺に住む人々が幸せに暮らすことを望んでいる。だからこそ、私はこの身を捧げて、人々を守るために行動するのだ。」

人々はダルマの言葉に感動し、ダルマを信じるようになった。そして、ダルマが歩き回るたびに、人々はその後ろについていくようになった。ダルマは、人々の幸せのために動き続け、寺の宝物としてだけではなく、人々の心の支えとしても存在するようになった。

以降、寺には「生きたダルマ」と呼ばれるようになり、多くの人々がダルマを拝みに訪れるようになった。そして、そのダルマの存在が、人々の心を温かく包み込み、寺と人々を一つにする存在となったのである。
GPT-4oの場合
町のはずれに住む老人がいた。彼は日々、静かに座しては何かを考え込んでいるようだった。ある日、訪ねてきた青年が老人に尋ねた。

「おじいさん、何を考えているんですか?」

老人はゆっくりと顔を上げ、優しい目で青年を見つめた。

「わしは、ダルマのことを考えているんじゃ。」

「ダルマですか? あの赤い人形のことですか?」

「そうじゃ。しかし、このダルマは普通のダルマとは違う。これは願いを叶えるダルマなんじゃよ。」

青年は興味をそそられた。「本当に願いが叶うんですか?」

「そうじゃ。しかし、ただ願うだけではダメなんじゃ。心からの願いと行動が伴って初めて叶うんじゃ。」

青年は思わず笑った。「そんなこと、信じられません。でも、試してみてもいいですか?」

老人は微笑みながら頷いた。「もちろんじゃ。だが、一つだけ覚えておいてくれ。願いが叶うまで、決してダルマの目を両方とも描いてはいかんぞ。」

青年は家に帰り、早速ダルマを手に取った。そして心からの願いを込めて、片方の目を描いた。それから数日後、彼の願いは見事に叶った。

青年は大喜びし、再び老人のもとを訪れた。「おじいさん、願いが叶いました! ダルマのおかげです!」

老人は静かに微笑んだ。「それはよかった。しかし、まだ目は片方だけじゃな?」

「そうですね。でも、次の願いも叶えてくれるでしょうか?」

「次の願いを叶えたいなら、また片方の目を描いて、心から願うんじゃ。」

青年は帰り際に深く頭を下げ、再びダルマの目を片方だけ描いた。そしてまた願いが叶い、彼の生活はどんどん良くなっていった。

ある日、欲張りになった青年は、ダルマの両目を一度に描いてしまった。すると、その瞬間、彼のすべての願いが逆転し、次々と不幸が降りかかった。

驚いた青年は再び老人のもとを訪れた。「おじいさん、一体どうしたらいいんですか?」

老人は悲しげに言った。「ダルマの目を両方とも描いた瞬間、心の中の欲がすべて表に出てしまったんじゃよ。願いを叶えるには、心の清らかさと行動が必要なんじゃ。それを忘れてはいかん。」

青年は深く反省し、もう一度やり直すことを誓った。それからは欲に溺れることなく、真心を持って生きるようになった。

そして、最後に老人が呟いた。「ダルマは、我々の心を映す鏡じゃ。心の中を正直に見つめることが大切なんじゃよ。」

青年はその言葉を胸に刻み、再び平穏な日々を取り戻したのだった。

ChatGPTが間違った情報を提供する理由

ChatGPTの仕組みを理解すれば、間違った情報を提供してしまう理由も簡単にわかります。

誤った情報を提供する理由①あくまで確率的に正しそうなだけ

筆者
筆者

ChatGPTが、しばしば誤った情報を提供する理由は、あくまで確率的に正しそうな文章を生成しているから、だと聞きました。あっていますか?

ChatGPT-4o
ChatGPT-4o

はい、その通りです。ChatGPTが誤った情報を提供することがある理由の一つは、確率的に正しそうな文章を生成しているからです。以下にその仕組みを詳しく説明します。

【確率的生成の仕組み】

  1. 膨大なデータでの学習:
  • ChatGPTは、インターネット上の膨大なデータ(本、記事、ウェブサイトなど)を使って学習しています。このデータから、言葉の使い方や文章の構造を学びます。
  1. 次の単語の予測:
  • ChatGPTは、与えられた文脈に基づいて次に来るべき単語を確率的に予測します。例えば、「太陽は東から…」という文脈があれば、「登る」という単語が続く可能性が高いと判断します。
  1. 確率の高い単語を選択:
  • 各単語の候補に対して確率を計算し、その中から最も確率の高い単語を選びます。これにより、自然で意味の通る文章を生成します。

【誤情報が生まれる理由】

  1. データの偏り:
  • 学習に使用されたデータが完全に正確なものばかりではないため、誤った情報を含んでいることがあります。このため、ChatGPTも誤情報を学習してしまう可能性があります。
  1. 文脈の誤解:
  • 複雑な質問やあいまいな質問の場合、文脈を誤解してしまうことがあります。この結果、意図とは異なる答えが生成されることがあります。
  1. 確率的な生成:
  • 確率的に最も適切と思われる単語やフレーズを選ぶため、必ずしも正確な情報が選ばれるわけではありません。確率が高いというだけで、それが正しい情報とは限らないのです。

ChatGPTは、あくまで学習データに基づいて確率的に正しそうな文章を生成しています。これは非常に強力な技術ですが、必ずしも100%正確な情報を保証するものではありません。そのため、重要な情報を確認する際には、信頼できる情報源を併用することが重要です。

誤った情報を提供する理由②2023年5月より前の情報は知らない

筆者
筆者

最新の情報も持っていないですよね?

ChatGPT-4o
ChatGPT-4o

その通りです。ChatGPTの知識はトレーニングデータのカットオフ日までの情報に基づいています。たとえば、私の場合は2023年5月までの情報を持っていますが、それ以降の最新の情報は持っていません。

【最新情報の取得方法】

  1. ブラウザを使う:
  • インターネットに接続して最新の情報を検索することができます。これは、最新のニュース、イベント、技術の進展などにアクセスするために便利です。
  1. 信頼できるニュースサイトや公式サイトをチェックする:
  • 最新の情報を得るためには、信頼できるニュースサイトや公式サイトを定期的にチェックすることが重要です。
  1. 公式アナウンスやプレスリリース:
  • 特定の組織や企業からの最新情報を知りたい場合は、公式アナウンスやプレスリリースを確認するのが良いでしょう。

ChatGPTは、最新の情報を持っているわけではありませんが、ブラウザや他の情報源を活用することで、最新の情報を得ることができます。もしリアルタイムの情報が必要な場合は、インターネットでの検索や信頼できる情報源を利用することをお勧めします。

というわけです。

ChatGPTの上手な命令方法【プロンプト】

ここまで読めば、ChatGPTの仕組みはおおよそ理解できたのではないでしょうか?

ChatGPTの仕組みを理解した上で、どのようなプロンプトを与えると上手にChatGPTを使えるのか解説していきます!

プロンプト:ChatGPTなど、AIに対する命令のことです。

ChatGPTの命令法①情報を限定する

ChatGPTはそれっぽいものを書き続ける仕組みなので、できるだけこちらで情報を与えてあげたほうが回答精度は高くなります。実際に質問をしてみたので、見ていきましょう!(今回は、みなさんも使えるよう、無料版であるChatGPT4に聞いています。)

筆者
筆者

映画『タイタニック』の評価はどう?200文字程度で教えて。

GPT-4
GPT-4

映画『タイタニック』は1997年に公開され、ジェームズ・キャメロン監督による作品です。この映画は、1912年に起こった実際のタイタニック号の沈没事故を基にしています。主演のレオナルド・ディカプリオとケイト・ウィンスレットが演じるジャックとローズの悲恋を中心に描かれており、彼らの恋愛物語が多くの観客の心を捉えました。映画は視覚効果、豪華なセット、感動的な音楽で高く評価され、11のアカデミー賞を受賞するなど、その品質と影響力を証明しています。商業的にも大成功を収め、長らく世界興行収入の記録を保持していました。

悪くないですが、より細かく聞いてみます。

筆者
筆者

1997年公開の映画『タイタニック』は、批評家や観客からどのような評価を受けていますか?特に演技、脚本、音楽、ビジュアル効果などの各要素について、具体的な意見や評点はどのようになっていますか?また、主要な映画賞で受賞した部門も教えてください。200文字程度だと嬉しいです。

GPT-4
GPT-4

映画『タイタニック』は批評家や観客から高く評価されており、特にレオナルド・ディカプリオとケイト・ウィンスレットの演技が絶賛されました。脚本は感動的なロマンスと歴史的事実のバランスが取れていると好評です。ジェームズ・ホーナーの音楽、特に主題歌「マイ・ハート・ウィル・ゴー・オン」は大ヒットしました。ビジュアル効果も革新的で、映画の没入感を高める重要な要素とされています。アカデミー賞では、最優秀作品賞、監督賞、撮影賞、美術賞、視覚効果賞など、合計11部門で受賞しました。

どうでしょう?かなり詳しくなったのではないでしょうか?

このように、質問・命令をする側が多くの情報を与えることにより、ChatGPTの回答精度は上がっていきます。

ChatGPTの命令法②英語を使う

また、英語を使うというのも有効な方法です。先程のタイタニックの例もそうですが、ChatGPTは英語の情報(英語で存在している情報)のほうがかなり詳しいです。

英語の情報が存在しそうな場合、一度英語にしてから質問してみるとより精度が高くなります。

まとめ

この記事をまとめると、

  • ChatGPTはそれっぽい単語を組み合わせていくという仕組み
  • 日本語はChatGPTの学習量が英語より少ないため、精度が劣る
  • ChatGPTの仕組みを踏まえると、よりよい回答を得るためには、情報を限定することや情報量が多い英語を使うと良い。

でした。

ぜひみなさんもChatGPTを使いこなして行きましょう〜!

romptn Q&Aで質問してみませんか?
romptn Q&Aは、AIに関する質問プラットフォームです。
  • ChatGPTで〇〇を効率化したい
  • スライドを作るならどのAIツールがおすすめ?
  • おすすめのGPTsが知りたい
といったことはありませんか?
同じ悩みを解決した人がいるかもしれません。ぜひ質問してみてください!
ChatGPT
スポンサーリンク
romptn Magazine