【GPTZero】AIで書いた文章が見破られる?精度についても解説! | romptn Magazine

【GPTZero】AIで書いた文章が見破られる?精度についても解説!

AIツール

AIによるテキスト生成が日常化しています。

今年の芥川賞作家も生成AIを使用していましたね。

このような時代では、文章がAIが生成したものか判別は、ますます重要になっています。

では、AIが書いたかどうかをどうやって見分ければいいのでしょうか?

GPTZero」は、まさにこの課題に対応するツールとして開発されました。

この記事では、GPTZeroの機能や仕組み、そして実際にどのように利用されているのかを詳しく解説します。

読み進めることで、AI生成テキストの識別がなぜ重要なのか、そしてGPTzeroがどのようにしてその解決策となり得るのかが明らかになります。

スポンサーリンク

GPTZeroとは

概要・開発された経緯

GPTzeroは、プリンストン大学のエドワード・ティアン氏によって開発されたツールで、AIによるテキスト生成物を識別する、AI文章判定ツールです。

ちなみに、エドワード・ティアン氏が学生時代に開発したそうですね。

このツールは、学術界や出版業界における文章のオリジナリティと正確性を保証するために、テキストが人間によって書かれたものか人工知能によって生成されたものかを区別することを目的としています。

いずれは出版業界や政府に利用してもらえるようなツールにしていきたい、という展望も持っているそうです。

AIが書いた文章を見破るツール「GPTZero」を作った22歳の野望 | Forbes JAPAN 公式サイト(フォーブス ジャパン)
2022年12月、エドワード・ティアンはプリンストン大学の寮で、ChatGPTが書いた文章を検出するツール「GPTZero」のプロトタイプを作成した。世界がChatGPTに夢中になるにつれ、ティアンは、人間が書いた記事やエッセイに見せかけた...

このGPTZeroはテキストの複雑さや言語的特徴から、AIが生成したテキストの特徴を割り出し、AIによって生成されたかどうかを判別します。

もともと文章生成AIは、人間が生成した文章を学習し、その学習結果をもとに新しく文章を生成します。

GPTZeroでは、人間が書いた文章、人工知能が書いた文章をそれぞれAIに学習させます。

それによって文章がAIで生成されたものである確率を割り出すことで、AIによる判別を可能にします。

とはいえ、まだまだ誤検知や判定の見逃しも多く報告されており、発展途上のツールと言えるでしょう。。

https://x.com/genkAIjokyo/status/1695703812223418421?s=20

紹介記事:https://forbesjapan.com/articles/detail/63088

GPTZeroの料金は?

GPTZeroは、無料でも使用が可能です。

ただし、無料プランでは文字数や機能が制限されています。

ビジネスで使う方や、より多くの機能を使用したい場合は、有料プランを検討する必要もあるでしょう。

下記の料金(年間契約の場合)が必要になります。月ごとでの契約も可能です。

*引用元 : https://gptzero.me/pricing

まずは無料で試してみて、判定の精度やできることを確認してみて、それから有料プランを検討してみてください。

ただし、有料プラン専用のAI検出モデルがあるので、これによって精度が大幅に上がる可能性もあるので、気になる方は1か月から使用できるので、一度有料プランを試してみてください。

GPTZeroの精度はどれくらい?

GPTzeroの精度にはいろいろな意見があります。

複数のWebサイトやX(旧Twitter)で、実際に使用してAIによる文章かの判定を試してみた記事があったので、調査しました。

また、他のAI文章判別ツールとの比較し、どのツールが最も優れているのかを比較をしている記事もありました。

【実験】OpenAI、GPTZero…AIが書いた文章はどれぐらい見抜かれる?7つのAI判別ツールを比べてみた【テッククランチ】
AI による文章かどうかを判別するツールが申し分なく機能するかを確認するため、TechCrunchはAIスタートアップのAnthropic(アンソロピック)が開発した「Claude」というChatGPTに似たシステムを使って、さまざまなスタイルの文章を7つ作成した。

結論を言うと

「ほかの検知ツールよりは優秀だが、完全ではない」

という感じです。

複数のAI文章判別ツールと比較している調査を確認したところ、GPTZeroの精度は他のツールに比べて、精度は高いようです。

一番性能が良かった、と報告しているものもあります。

AIが書いたコンテンツを検出するツール×4: 日本語対応・無料・精度高め
AI が書いた記事を検出するツールを 4 つ紹介する。

ただし、これはあくまでAI文章判定ツール間で一番性能が良かった、というだけのものです。

そもそもの目的である、AIが書いた文章かどうかを正確に判定する、という作業は精度高くできているのでしょうか。

これに関しては、100%正確に評価できた、というものはありませんでした。

以下は英語のブログ記事になりますが、2020年の学術論文、つまり生成AIは出現する前の文章を判定してもらったところ、「AIが記述した」という誤検知があった、と報告しています。

GPTZero Case Study (Exploring False Positives)
In this case study, I will be sharing the vast amounts of false positives current AI detection software gives, specifically for this case study I will be demons...

こちらの投稿では、約3割が見逃された、と報告しています。

生成AIはそもそも人間が書いた文章を多量に学習して文章を生成するため、完全にAIと人間が作成した文章を判別することはかなり難しいのでしょう。

そしてこれから、生成AIが書いた文章がどんどん増えていくので、さらに判別は難しくなっていくと思います。

GPTZeroは日本語対応している?

GPTZeroは残念ながら日本語には対応していません。

しかし、生成AIの特徴から、使い方は英語になりますが、日本語の文章の判定は問題なく判定してくれます

あくまでツール上の使用言語は英語のみですが、判定自体は日本語も可能です。

使い方を解説の所にも記載していますが、ある程度日本語に翻訳しながら使用していくことも可能です。

GPTZeroの使い方を解説!判別結果はどうなった?

では、ここからはGPTZeroの使い方を解説していきます。

もともと、ツールとしても非常に使いやすいです。

さらに、この記事では一つ一つ段階を分けて解説しているので、この記事を読んでいただければどなたでも使えるようになります。

それでは早速始めていきましょう。

文章の用意

GPTZeroを使う前に、AI文章判定に使用する文章を用意する必要があります。

文字を直接GPTZeroに入力することもできますし、WordファイルやPDFを読み込ませることもできます。

文字数が少なすぎると正確に判定ができないので、注意してください。

今回は、テストなので、ChatGPTに文章を作成してもらいましょう。

以下のリンクから、ChatGPTに飛んでください

Just a moment...

文章は何でもよいので、今回は「ChatGPTについて結構長めの文章で教えて」と入力しました。

そうすると、下記のようにChatGPTが文章を生成してくれました。

これで、今回の判定に使う文章の用意ができました。

GPTZeroを使ってみる

続いて、GPTZeroのサイトに行くので、以下のリンクをクリックします。

GPTZero | The Trusted AI Detector for ChatGPT, GPT-4, & More
Covered by >100 media outlets, GPTZero is the most advanced AI detector for ChatGPT, GPT-4, Bard. Check up to 50000 characters for AI plagiarism in seconds.

そうすると、次のような画面が現れます。

すべて英語ですね。

私のように、英語が苦手でこの時点で嫌になった人は、いったん画面を右クリックしてください。

そのあとに、「日本語に翻訳」を押して日本語にしてしまいましょう。

そうすると、下記のように日本語になってくれました。

翻訳のため、若干日本語がおかしいところもありますが、英語よりは理解しやすくなると思います。

この状態で、画面右側に入力欄があるので、そこに文章を入力します。

今回は、先ほどChatGPTに作成させた文章を、コピペします。

「ファイルをアップロードする」から、WordファイルやPDFをアップロードすることも可能です。

コピペをしたら、「原点の確認」「Check Origin]をクリックします。

これで、AI文章判定が開始されます。

そうすると、以下の画面が出てきます。

いろいろな画面が出てきました。

色々と項目がありますが、判定は、画面右側の下記のような部分です。

これによると、「We are highly confident this text is entirely human」となっているので

先ほど出力させた文章は、人間が書いたもの、となっているようです。

横棒が人間が書いた文章とAIが書いた文章の割合で、

93%が人間が書いて、7%はミックスされた文章、0%がAIが書いた、と判定されてしまいました。

残念ながら、今回のChatGPTに書かせた文章を正しく判別することはできませんでした

しかしこれは文章の冒頭の方の結果であることに注意してください。

他の部分については、しっかりAIが書いた文章だと判定されていました。

とはいえ、冒頭の文章もAIに生成させているのは間違いないので、まだまだ判別の精度はそれほど高くないようですね。

GPTZeroの使い方まとめ

この記事では、

  • GPTZeroは、AIが書いた文章かどうかを判定するツール
  • 無料でも使用可能だが、機能制限があるため、よく使う方は有料プランがオススメ
  • AI文章判定の精度は、他の文書判定ツールよりも優れているが、それでも精度に不安が残る
  • 日本語対応はしていないが、日本語の文章を判定することは可能
  • GPTZeroの使い方を一から解説

について紹介しました。

これからますますAIが普及していく時代では、このようにAIが書いた文章を見分けるリテラシーも求められます。

AIを使いこなすのももちろんですが、このようにAIに、ある意味騙されないようにする力も合わせて持っておく必要があるのかもしれません。

romptn Q&Aで質問してみませんか?
romptn Q&Aは、AIに関する質問プラットフォームです。
  • ChatGPTで〇〇を効率化したい
  • スライドを作るならどのAIツールがおすすめ?
  • おすすめのGPTsが知りたい
といったことはありませんか?
同じ悩みを解決した人がいるかもしれません。ぜひ質問してみてください!
AIツール
スポンサーリンク
romptn Magazine