近々リリースするGPT4とは？ ChatGPT（GPT3.5）よりどこが「パワフルなAI」なのか：ビジネス＋IT [コジーの今週気になるＤＸニュースVOL20230210-02]

2023年2月10日

GPT4とはどのようなAIなのか

（Photo/Getty Images）

＜目次＞

GPT4、数カ月内にリリースとの臆測

　市場分析、コーディング、記事まとめなどさまざまなタスクをこなせるChatGPT。現在このChatGPTを開発したOpenAIがよりパワフルなAIを近々リリースするのではないかとの臆測が流れ、海外メディア／ソーシャルメディアでは注目の話題となっている。

　ChatGPTのベースとなっているのは、OpenAIが開発しているGenerative Pre-trained Transformer（GPT）と呼ばれるもので、インターネットで入手可能なデータでトレーニングされたテキスト生成ディープラーニングモデルだ。

　開発の歴史をさかのぼると、まずGPT1が発表されたのは2018年。「Improving Language Understanding by Generative Pre-Training」と題された論文で、その詳細が明らかにされた。

　GPT1は、ラベル付けされていないデータでトレーニングされた生成言語モデル。分類や感情分析など特定のダウンストリームタスクで調整されたモデルとなる。データセットは、7000冊の未発表書籍によって構成されるBooksCorpusが用いられた。パラメータ数は1億1700万にのぼるという。

　GPT1が登場するまで、自然言語処理（NLP）モデルは、教師あり学習により、分類や翻訳など特定のタスク用にトレーニングされていたものがほとんどだった。しかし、教師あり学習では2つの大きな課題が指摘されていた。1つは、教師あり学習がラベル付けされた膨大なデータを必要とする点だ。

　現実には、ラベル付けされたデータセットは入手が難しく、モデルの精度向上に限界が見えていた。もう1つは、教師あり学習でトレーニングされた特定のタスクしか実行できないという汎用性の問題が横たわっていた。

　GTP1は、こうした課題を念頭に、ラベル付けされていないデータを用い、教師なし学習と教師あり微調整モデルによる学習を通じて、幅広いタスクに対応することを目的に開発された。

　結果、モデルが比較された12のタスクのうち9つで、特定タスク向けにトレーニングされた当時最先端の教師ありモデルよりも高いパフォーマンスを示した。

ChatGPTが生まれた経緯とは？

（Photo/Getty Images）

関連記事

▼ すべて表示

GPT2とは？膨大なデータセットを活用

　2019年の論文で公開されたGPT2は、GPT1よりも大きなデータセットを用い、パラメータも1億1700万の10倍以上となる15億に増えた。

　GPT1開発のときはBooksCorpusというデータセットが用いられたが、GPT2ではインターネット掲示板Redditからスクレイピングされた40GB分のテキストデータが使用された。

　GPT1と同様にGPT2も、ほとんどのタスクで当時存在した先端の教師ありモデルを超えるパフォーマンスを示したが、課題も残された。

　高いパフォーマンスを示したタスクの1つが読解だ。ゼロショット設定（AIが特定情報に初めて触れる設定）で、4つのベースモデルのうち3つを上回った。

　またフランス語から英語への翻訳タスクでも、ゼロショット設定で当時存在したほとんどの教師なしモデルよりも高いパフォーマンスを示した。ただし、当時最先端とされた教師なしモデルのパフォーマンスを超えることはできなかった。

　GPT2の開発では、データセットとパラメータを増やすことがモデルのパフォーマンス向上に寄与することが確認され、GPT3の開発にも影響を及ぼすことになる。

GPT3とChatGPTの違い

　2020年の論文で公開されたGPT3のパラメータは、GPT2の100倍以上となる1750億に増加、またデータセットも5つの異なるコーパスが用いられた。その5つとは、2011年以降のウェブデータを収集しているCommon Crawl、Redditリンクからスクレイピングされたウェブデータで構成されるWebText2、書籍のデータセットBooks1とBooks2、そしてWikipediaだ。

　論文では、GPT3は長い文章の作成途中で一貫性が失われたり、空白埋めや推論など一部のタスクでうまく機能しないと報告されたが、文章のクオリティは人間が書いたものと見分けがつかないほどに向上した。あまりにも文章のクオリティが高いため、恩恵よりも悪用されたときのリスクに対して警告がなされるほどだった。悪用リスクとしては、スパム／フィッシングメール、学術論文の執筆、ソーシャルエンジニアリングなどが指摘されている。

　話題となっているChatGPTは、このGPT3の微調整版であり、巷ではGPT3.5と呼ばれるモデルだ。

　ChatGPTとGPT3の違いは、GPT3が言語翻訳、テキスト生成など幅広いタスクを実行できる汎用モデルであるのに対し、ChatGPTは会話形タスクに特化して微調整され、モデルのサイズもGPT3に比べ小さくなっている。このため、複雑な言語タスクでは、ChatGPTはGPT3と同じパフォーマンスが得られない場合があるとされる。

　最近では、ChatGPTが米国の司法試験、医師免許試験、会計士試験を通過する可能性を示す研究報告が相次いでおり、注目度は日に日に高まっている状況だ。

GPT4の噂とアルトマンCEOの最新発言

　すでに多くシーンでそのポテンシャルと脅威を示すChatGPT。その後継モデルとなるGPT4に対する期待は増大しており、さまざまな臆測が飛び交っている状況だ。

　臆測の中には、GPT3のパラメータが1750億であったのに対し、GPT4のパラメータは100兆になるのではないかというものも存在する。

　しかし、OpenAIのサム・アルトマンCEOは、StrictlyVCのインタビューで、そのような噂は馬鹿げたものだと一蹴し、噂が独り歩きし、期待が過剰に膨れ上がっているのが現状だと指摘している。

　一部では、GPT4が汎用人工知能（Artificial General AI＝AGI）のような姿になるのではともいわれているが、この噂に対してもアルトマンCEOは、OpenAIではAGIを有しておらず、まったく根拠がない話だと語っている。

　パラメータが100兆になるのではとの噂は、おそらくWIREDの2021年8月24日の記事がもとになっていると思われる。この記事は、GPTモデル開発でOpenAIと提携関係にあった企業Cerebrasの創業者兼CEOであるアンドリュー・フェルドマン氏にインタビューを行ったもの。

　このインタビューの中でフェルドマン氏は、GPT4は100兆のパラメータを持つモデルになる可能性があり、開発には数年要するだろうと発言していた。

　パラメータ数に関しては、多いほどパフォーマンスが高くなるという訳ではない。現存する大規模言語モデルで最大となるのは、NVIDIAとマイクロソフトが開発した「Megatron Turing NLG」で、そのパラメータ数は5300億とGPT3の3倍以上となる。ただし他の小さなモデルのほうが高いパフォーマンスを実現している。また、モデルの規模が大きくなるほど、コストが高くなるというデメリットもあり、アルトマン氏が指摘するように、GPT4のパラメータが100兆になることはなさそうだ。

　GPT4のパラメータ数は、GPT3とほぼ同じかそれより少ない数になり、効率的に高いパフォーマンスを目指すモデルになるという予測が有力視される。

　ニューヨークタイムズによると、GPT4は早ければ2023年1～3月期にリリースされる可能性があるとのこと。ChatGPTの登場で、グーグルが対抗の「Bard」を一般公開するなど、経済・社会・市場にさまざまな影響が出ている。GPT4のインパクトはどれほどのものとなるのか、今後の動きに注目したい。

関連記事