自然言語処理〔三訂版〕

日本語や英語などの自然言語は人間の知的活動の根幹をささえるメディアである。自然言語のコンピュータ処理に関する研究・技術分野を自然言語処理と呼ぶ。近年のコンピュータおよびニューラルネットワークの進展とともに自然言語処理技術は劇的に進展し、ウェブサーチ、対話システム、機械翻訳などの応用システムが我々の日常に浸透しはじめている。本書では、自然言語の性質、コンピュータで処理するアルゴリズム、難しさ等を理解する。これによって、自然言語処理の応用システムを健全に利活用する能力を身につける。
1.自然言語処理の概要と歴史 2.文字列・テキスト処理の基礎 3.言語リソースの構築 (1) 4.言語リソースの構築 (2) 5.語の意味の扱い 6.ニューラル自然言語処理の基礎 7.機械翻訳 8.Attention 機構に基づくニューラルネットワークモデル 9.系列の解析 10.構文の解析 11.文の意味の解析 12.文脈の解析 13.情報検索 14.質問応答 15.対話システム

『自然言語処理〔三訂版〕』 (黒橋 禎夫 著、放送大学教育振興会、2023 年 3 月刊) は、放送大学教材シリーズの 1 冊として作られた自然言語処理の教科書です。日本語や英語のような人間の言葉をコンピューターで処理する研究 / 技術分野を対象に、自然言語の性質、それを処理するアルゴリズム、そして処理の難しさを順に理解していく構成で、版元の紹介文は、自然言語処理の応用システムを健全に利活用する能力を身につけることを目標に掲げています。機械翻訳や検索、対話システムの裏側で何が起きているのかを、特定のライブラリの使い方ではなく原理の側から押さえたい人に向いた一冊です。

全 15 章の構成、言語リソースから Attention 機構と対話まで

目次は全 15 章です。1 章の自然言語処理の概要と歴史、2 章の文字列 / テキスト処理の基礎に続いて、3 章と 4 章の 2 章を言語リソースの構築にあて、5 章で語の意味の扱いを取り上げます。6 章のニューラル自然言語処理の基礎から 7 章の機械翻訳、8 章の Attention 機構に基づくニューラルネットワークモデルへと進み、9 章から 12 章では系列、構文、文の意味、文脈という単位ごとの解析を扱います。最後の 3 章は情報検索、質問応答、対話システムという応用の章です。ニューラルネットワークの基礎と Attention 機構を前半に置き、そのうえで系列や構文、文脈の解析を論じる並びになっている点が、章題から読み取れる本書の特徴です。

辞書とコーパスと曖昧性、言語処理が難しい理由

自然言語処理の難しさの中心にあるのは曖昧性です。日本語の文には単語の区切りが書かれておらず、どこで切るかによって意味が変わりますし、どの語がどの語に係るのか、代名詞や省略された主語が何を指すのかも、文脈を見なければ決まりません。こうした判断を機械に学ばせるには、辞書や、人手で正解の情報を付けたテキストの集まり (コーパス) といった言語リソースが欠かせず、その作り方と品質が手法の性能を左右します。ニューラルネットワークを使う手法では、単語や文を 埋め込みベクトル として数値で表し、Attention 機構によって文中のどの部分に注目するかを学習します。この仕組みは 大規模言語モデル の土台でもありますが、モデルがどこで誤るのかを見極めたり、評価用のデータを設計したりする場面では、系列や構文、文脈といった解析の単位で問題を捉える見方が引き続き役に立ちます。言語リソース、ニューラル手法、単位ごとの解析、応用という順に章を重ねる本書の構成は、この両面を一冊でつなぐための並びと読めます。

放送大学の教科書で学ぶ前提と、向かない読者

本書は放送大学の情報コースの専門科目向け教材で、分野の全体像を体系立てて学ぶための教科書です。目次に特定のプログラミング言語やライブラリの名前は現れないため、Python でモデルを動かしながら手を覚えたい人や、自分のアプリケーションに文章生成の機能を組み込む方法を探している人には、目的が合いません。そうした実装寄りの本を探している場合は、LLM の技術書の選び方 で層ごとの候補を確認してから選ぶほうが近道です。また本書は 2023 年 3 月の刊行で、その時点までの技術の流れを前提としています。

裏返せば、大規模言語モデルを業務で使い始めたものの、翻訳や検索、質問応答、対話といった応用がどんな要素技術の積み重ねで成り立っているのかを説明できずにいる人、あるいは大学や大学院で自然言語処理を専攻する前に分野の地図を手に入れたい人にとって、本書は投じた時間に見合う教科書です。15 の章題をそのまま学習の道しるべにして順に読み進めれば、新しい手法に出会ったときに、それが言語処理のどの課題に答えようとしているのかを自分で位置づけられるようになります。