はじめに

世の中で人工知能（AI）が注目されるようになって久しく、現在では身の回りの様々なところで当たり前のように使われる技術になっていますが、このAIも年々進化をとげています。AIの分野は様々ですが、その中でも今回は「テキスト生成」をテーマに、GPT-3という最新の技術についてご紹介します。

GPT-3とは

人間が自然に行っている“経験を通して学習する”ということをコンピュータ（AI）で実現するための仕組みやアルゴリズムを総称して機械学習^※1モデルと言います。その中でもGPT-3(Generative Pre-trained Transformer 3)は深層学習^※2を使った言語に特化したモデルになります。サンフランシスコに拠点を置くAIの非営利団体であるOpenAI(米国の著名な投資家イーロン・マスク氏らが設立) が作成したGPT-nシリーズの第3世代モデルで、2020年5月に導入されました。GPT-nシリーズはテキスト生成を目的に開発されたAIモデルです。約45TBの大規模なテキストデータのコーパス(自然言語を構造化して大量に蓄積し、品詞などの言語的な情報を付与したもの)を約1750億個のパラメータを使用して学習し、高い精度である単語の次にくる単語の予測を可能にし、あたかも人間が書いたような文章を自動で生成することが可能です。
ある単語の次に来る単語の予測とはどのようなものでしょうか。例えば「明日の天気は」という単語列を与えた場合、次に来る単語の確率が、晴れ:40%、曇り:30%、雨:15%、明るい:5%、うれしい:5%、美味しい:3%、疲れた:2%だとすると、「明日の天気は」の後に続く単語は天気を表す単語「晴れ」、「曇り」、「雨」の順に確率が高いことになり、「明るい」、「うれしい」、「美味しい」、「疲れた」になる確率は低いと言えます。

図1：言語モデルのイメージ

GPT-3のライセンスは、2020年10月にMicrosoft社がOpenAIから独自ライセンスを取得していますが、OpenAIは引き続き独自のAPI(サービスの機能を共有する仕組み)を介してモデルへのアクセスを提供しています。ただし、あまりにも高度な文章が作成できることからその危険性が指摘され、ソースコードやモデルのパラメータなどは公開されず、外部からその機能を使うことができるAPIのみの公開となっています。APIの利用には申請が必要であり、現在は順番待ちの状態になっています。

※1：機械学習 … 大量のデータから自動で規則性や関連性を見つけ出し、判断や予測を行う技術。
※2：深層学習 … ディープラーニングとも呼ばれる。機械学習の1手法。従来の機械学習では、データの中のどの部分に注目するか(特徴量)を人間が定めていたが、深層学習ではコンピュータが自動で特徴量を決定する。

GPT-3ができること

GPT-3によって可能になった高度なテキスト生成の例を２つご紹介します。

【例1】お題や書き出しに沿った文章の生成

お題や書き出しの一例を入力として与えると、それに続く自然な文章を自動で生成することができます。ただし、以下の入力文章、生成文章ともに原文^※3は英語であり、ここではわかりやすさのために機械翻訳を通して日本語に変換した結果を掲載しています。

図2：お題や書き出しに沿った文章の生成
(クリックして拡大できます)

※3：https://gist.github.com/minimaxir/ac362cc81691eb92aa1b6a5c32d94ce3

【例2】自然言語の入力によるウェブページの自動生成

私たち人間が日常的に話す日本語や英語、中国語といった自然言語を入力として与えることによって、ソースコードを自動で生成することができます。
例えば、Googleの検索ページと同じようなデザインのウェブページを作成する場合を考えます。この時、GPT-3に「googleのロゴ、検索ボックス、そしてそれらの間に隙間を入れて“Googleを検索“と“I’m Feeling Lucky“という2つのライトグレーのボタンを追加。検索ボックスは広く。」というような自然言語での命令を与えることによって、Googleの検索ページと同じようなデザインのウェブページを作成するhtmlのコードを自動生成します。

図3：ソースコード自動生成のイメージ

GPT-3の今後

GPT-3によって高度な文章生成が可能であるとご紹介しましたが、まだまだ課題も存在しています。GPT-3は人間のような常識を持っているわけではないので、結論が矛盾した文章を生成したり、社会通念上ふさわしくない文章を作り出したりする可能性もあります。ソースコードの自動生成もまだ事例が少ない状況です。しかし、今後様々な課題を克服した改良モデルが登場するかもしれません。もし、単純な自然言語の命令により、複雑なソースコードも難なく生成できるようになれば、プログラミングの知識がなくてもシステム開発を行えるようになります。テキスト生成というテーマは活用シーンが非常に幅広く、このような技術は今後も発展が期待されます。

2021年5月