大規模言語モデルは新たな知能か

対話型サービス ChatGPT は驚きをもって迎えられ、IT 企業間で類似サービスをめぐる激しい開発競争が起こりつつある。それらを支える大規模言語モデルとはどのような仕組みなのか。何が可能となり、どんな影響が考えられるのか。人の言語獲得の謎も解き明かすのか。新たな知能の正負両面をみつめ、今後の付き合い方を考える。

■著者からのメッセージ

本書では大規模言語モデルの可能性と課題、その仕組みを一般の方に向けて書きました。また最新の研究成果にもとづいて現時点でわかっている知見や将来の展望もまとめています。

本書では大規模言語モデルのもつ大きな可能性とともに、考えられるリスクについても述べています。そのリスクは非常に大きく、人類社会を脅かす可能性もゼロではない以上、よく向き合うべきだという懸念が世界的に示されています。今後、そうした可能性には具体的にどのようなものがあるかを検討し、どうすれば対応していけるのか、考えていく必要があります。

本書の後半では、これまで機械はなぜ人のように話せなかったのか、どのように言語モデルと機械学習が発展してきたのか、そして、ChatGPT を実現した大規模言語モデルはどのような仕組みであるのか、数式を用いずに解説しています。

しかしながら、大規模言語モデルがなぜこのように成功したのか、まだわかっていないところも多いのです。さらに言えば、私たちはまだ、なぜ人がうまく言語を獲得でき運用できるのか、深く理解できていません。大規模言語モデルと人の言語獲得には、解明すべき謎が多くあるのです。

今後、大規模言語モデルを人類が適切に扱えるようにしていくことが重要です。本書が大規模言語モデルを理解する一助になれば幸いです。

『大規模言語モデルは新たな知能か』 (岡野原 大輔 著、岩波書店、2023 年 6 月刊) は、ChatGPT を支える 大規模言語モデル がどのような仕組みで動き、何を可能にし、どのような危うさを抱えるのかを、一般の読者に向けて解説した本です。副題は ChatGPT が変えた世界で、岩波科学ライブラリーの 319 冊目として刊行されました。著者からのメッセージでは、本書の後半で言語モデルと機械学習の発展、そして大規模言語モデルの仕組みを数式を用いずに解説していると述べられており、専門の予備知識がなくても原理の筋道を追いたい人に向いた一冊です。

序章から終章まで、可能性とリスクから仕組みへ進む構成

構成は序章「チャット GPT がもたらした衝撃」に始まり、1 から 6 までの章と終章、あとがきが続きます。1 章は大規模言語モデルが可能にすることとして、文書の校正や要約、翻訳、プログラミングのサポート、学習や科学研究への応用などを挙げ、2 章は巨大なリスクと課題として、幻覚と呼ばれる誤った出力、誤情報の拡散、価値観や偏見の扱い、仕事の構造の変化、開発の独占といった論点を取り上げます。3 章から 6 章が仕組みの部分で、機械がなぜ人のように話せなかったのかという問いから、シャノンの情報理論と言語モデルの発展、規模を大きくすることで性能が伸びるべき乗則の発見、そしてニューラルネットワークの学習から注意機構、トランスフォーマーへと順に進みます。終章では、人は人以外の知能とどう付き合うのかを、コンピューター将棋や囲碁の例も引きながら考えます。著者は、深層学習の研究開発を手がける Preferred Networks を共同で設立した研究者で、版元の著者紹介には同じ岩波書店から『拡散モデル』を著したことも記されています。

言葉を確率で扱う発想と、規模の拡大が生んだ変化

大規模言語モデルの土台にあるのは、文章の続きとしてどの語がもっともらしいかを確率で見積もる言語モデルという考え方です。この発想自体は情報理論の時代にさかのぼりますが、大量の文章から次に来る語や隠された語を当てる訓練を繰り返すと、人がラベルを付けなくても言葉の意味や構造に関わる能力が身につくことが分かり、学習に使えるデータの量が一気に増えました。さらに ディープラーニング の進展と、文中の離れた語どうしの関係を捉える注意機構、それを中心に組み立てたトランスフォーマーの登場によって、モデルと計算量を大きくするほど性能が伸びるという関係が見えてきます。一方で、もっともらしい文章を作る仕組みであるがゆえに、事実と異なる内容をもっともらしく出力してしまう幻覚の問題が避けにくいことも、この原理から理解できます。本書はこうした流れを、目次の順に沿って一般向けの言葉でたどる構成です。

仕組みを言葉で知りたい人へ、実装を学ぶ本との違い

この本が合うのは、ChatGPT のような対話型サービスを日常や仕事で使いながら、その裏で何が起きているのかを筋道立てて知りたい人です。エンジニアにとっても、注意機構やトランスフォーマーを数式に入る前に概念として押さえておくと、専門書や論文に進んだときの見通しがよくなります。反対に、モデルを自分で実装したい、あるいは API を使ったアプリケーションの作り方を学びたいという目的なら、コードを中心に据えた別の本が向いています。2023 年 6 月刊の本であり、扱う製品やモデルの状況は刊行時点のものとして読むのが適切です。目的に応じた本の選び分けは LLM と生成 AI の本の選び方 で整理されています。

生成 AI を業務に取り入れる立場にありながら、出力をどこまで信頼してよいかを自分の言葉で説明できずにいる人、あるいは社内でリスクと可能性の両面を議論する土台が欲しい人にとって、可能性、リスク、仕組み、付き合い方を一冊の中で順に見通せる本書は、短い時間で考えの軸を得られる手堅い選択です。