自然言語処理の基礎

『自然言語処理の基礎』は、人間が読み書きする言語をコンピューターで処理する技術を、形態素解析、構文解析、意味解析、文脈解析という 4 段階の解析と、その応用に分けて学ぶ教科書です。著者は奥村 学 氏 (刊行時の版元の著者表記は東工大教授)、版元はコロナ社、刊行は 2010 年 10 月です。版元の内容紹介は本書を学部用教科書と位置づけ、四つの解析ステップを詳しく説明したうえで応用例のいくつかを紹介すると案内しています。自然言語処理 の全体像を、個々の手法の名前ではなく処理の段階の流れとしてつかみたい学生やエンジニアに向いた一冊です。

辞書とコーパスから応用まで、全 7 章の構成

目次は全 7 章で、多くの章の末尾に章末問題が付き、巻末に章末問題解答と引用 / 参考文献、索引が続きます。第 1 章の自然言語処理概論で歴史や使い道、本書の構成を示し、第 2 章は辞書とコーパス、言語の統計、機械学習を用いた自然言語処理を扱います。第 3 章の形態素解析は日本語と英語の両方を取り上げ、第 4 章の構文解析は文脈自由文法、CKY 法、チャート法、構文解析における選好へと進みます。第 5 章の意味解析は格フレームを用いた意味解析とコーパスを用いた語義曖昧性解消、第 6 章の文脈解析は照応解析と省略補完、テキスト構造の構築を扱います。第 7 章は応用編で、機械翻訳 (伝統的な方式、用例に基づく方式、統計的機械翻訳)、情報検索、テキスト分類、情報抽出、テキスト要約、質問応答を順に紹介しています。

形態素から文脈まで、4 段階で言葉を解く理由

自然言語処理の難しさは、同じ文字列が文脈によって別の構造や意味を持つという曖昧さにあります。日本語は単語の間に空白を置かないため、まず文を単語に区切って品詞を決める形態素解析が欠かせず、その結果をもとに語と語の係り方を決める構文解析、語の意味や述語と項の関係を決める意味解析、代名詞の指す先や省略された語を補う文脈解析へと段階を重ねていきます。CKY 法のような構文解析アルゴリズムは、文脈自由文法のもとで考えられる構造を表に埋めていく動的計画法の典型例で、曖昧な文に対して候補を漏れなく数え上げてから選好で絞るという考え方を具体的に示します。段階ごとに何が曖昧で、何を手がかりに解消するのかを順に押さえておくと、応用の章で扱う機械翻訳や情報検索がどの段階の結果を使っているのかも見通しやすくなります。

2010 年刊の学部用教科書、LLM 以前の手法を学ぶ前提

本書は 2010 年の刊行で、目次にはニューラルネットワークを用いた手法や 大規模言語モデル は現れません。第 2 章で 機械学習 を用いた自然言語処理を扱い、第 7 章の機械翻訳も統計的機械翻訳までを取り上げる構成です。そのため、LLM の仕組みや使い方を直接学ぶ本としては目的が合いません。一方で、形態素や構文、照応といった言語の単位と、それぞれの段階で生じる曖昧さの捉え方は、大きなモデルの出力を評価したり誤りの原因を切り分けたりする場面でも土台になる知識です。LLM の側から学び始めたい場合は、LLM と生成 AI の技術書の選び方 を先に眺め、本書を古典的な処理の流れを押さえる教科書として組み合わせると役割を分けやすくなります。

自然言語処理の講義を受ける学部生、研究室に入る前に分野の全体を一度通しておきたい学生、検索やテキスト分類の仕事で使っている処理の背景を言語の段階から理解し直したいエンジニアにとって、4 段階の解析と応用を章末問題付きでたどれる本書は、分野の見取り図を手元に持つための一冊です。