大規模言語モデルは新たな知能か(ダイキボゲンゴモデルハアラタナチノウカ)

対話型サービス ChatGPT は驚きをもって迎えられ、 IT 企業間で類似サービスをめぐる激しい開発競争が起こりつつある。それらを支える大規模言語モデルとはどのような仕組みなのか。何が可能となり、どんな影響が考えられるのか。人の言語獲得の謎も解き明かすのか。新たな知能の正負両面をみつめ、今後の付き合い方を考える。

■著者からのメッセージ

本書では大規模言語モデルの可能性と課題、その仕組みを一般の方に向けて書きました。また最新の研究成果にもとづいて現時点でわかっている知見や将来の展望もまとめています。

本書では大規模言語モデルのもつ大きな可能性とともに、考えられるリスクについても述べています。そのリスクは非常に大きく、人類社会を脅かす可能性もゼロではない以上、よく向き合うべきだという懸念が世界的に示されています。今後、そうした可能性には具体的にどのようなものがあるかを検討し、どうすれば対応していけるのか、考えていく必要があります。

本書の後半では、これまで機械はなぜ人のように話せなかったのか、どのように言語モデルと機械学習が発展してきたのか、そして、 ChatGPT を実現した大規模言語モデルはどのような仕組みであるのか、数式を用いずに解説しています。

しかしながら、大規模言語モデルがなぜこのように成功したのか、まだわかっていないところも多いのです。さらに言えば、私たちはまだ、なぜ人がうまく言語を獲得でき運用できるのか、深く理解できていません。大規模言語モデルと人の言語獲得には、解明すべき謎が多くあるのです。

今後、大規模言語モデルを人類が適切に扱えるようにしていくことが重要です。本書が大規模言語モデルを理解する一助になれば幸いです。

ChatGPT をきっかけに大規模言語モデル (LLM) への関心が高まったとき、「結局あれは何を学習しているのか」を正確に知りたいと思った人に向けた新書です。著者の岡野原大輔氏は Preferred Networks の共同創業者であり、深層学習のビジネス応用と研究の両面に精通した立場から執筆しています。岩波新書として刊行され、コンパクトな紙幅で LLM の原理と含意を伝えます。

Transformer アーキテクチャの自己注意機構から、事前学習と指示チューニングの仕組み、スケーリング則、そして「これは本当に知能か」という哲学的な問いまでを一冊で概観します。数式は最小限にとどめつつ、技術的な正確さを損なわない筆致で書かれているため、ソフトウェアエンジニアが「 LLM の動作原理を一段深く理解する」用途に適しています。

新書という形態のため、実装演習やコード例は含まれていません。手を動かして LLM を構築したい場合は別の実装本を読む必要があります。しかし、「なぜプロンプトの言い方で結果が変わるのか」「なぜ嘘をつくのか」といった日常的な疑問に対して、仕組みの側から答えを出せるようになる点で、 LLM を業務で扱うすべての人に読む意味があります。