Python ではじめる 情報検索プログラミング

検索エンジンやテキストマイニングなど、さまざまなアプリケーションの根幹をなす情報検索技術をゼロから学ぶための入門書!

文字コードの扱いかた、検索語の選びかたなどの初歩的な話題から丁寧に解説。
それだけでなく、文書のクラスタリング、トピックモデル、表現学習といった話題もカバーされ、
1 歩ずつ発展的な検索システムを構築できるように工夫されています。

Python のプログラムを通して実践的な知識が身につく、初学者におすすめの 1 冊です。
1 章 文字
2 章 語
3 章 特徴語
4 章 文書のランキング
5 章 検索システムの評価
6 章 文書のクラスタリング
7 章 文書のクラス分類
8 章 クエリの修正
9 章 トピック
10 章 表現学習

付録 A Python
付録 B Web データの活用

検索エンジンやテキストマイニングの根幹にある情報検索の技術を、Python のプログラムを書きながらゼロから学ぶための入門書が、『Python ではじめる情報検索プログラミング』 (佐藤 進也 著、森北出版、2020 年 12 月刊) です。著者は日本工業大学の教授で、版元の紹介文では、文字コードの扱いかたや検索語の選びかたといった初歩から丁寧に解説し、文書のクラスタリング、トピックモデル、表現学習といった発展的な話題まで、一歩ずつ検索システムを組み上げられるよう工夫した一冊と案内されています。

全 10 章の構成、文字と語から表現学習まで

目次は全 10 章と付録 2 本です。1 章「文字」、2 章「語」、3 章「特徴語」と、テキストを検索の対象として扱うための下ごしらえから始まり、4 章「文書のランキング」と 5 章「検索システムの評価」で、検索結果をどう並べ、その良し悪しをどう測るかという情報検索の中核に進みます。後半は 6 章「文書のクラスタリング」、7 章「文書のクラス分類」、8 章「クエリの修正」と応用の幅を広げ、9 章「トピック」と 10 章「表現学習」で、文書の意味をより抽象的に捉える手法に至ります。付録には Python と、Web データの活用が収められています。

検索の質は「文字」と「語」の段階で決まる

情報検索の入門で文字と語の章が最初に置かれているのには理由があります。日本語のテキストは単語の間に空白が無いため、どこで区切って索引の単位にするかで、ある文書が検索に引っかかるかどうかが変わります。さらに、全角と半角、異体字、合成文字のように、見た目が同じでも内部のコードが異なる文字が混在すると、利用者の入力と文書の中身が一致しなくなります。Unicode の正規化をはじめとする前処理がおろそかなまま、ランキングの工夫だけを重ねても検索の質は上がりません。文書の中でその文書らしさを表す語を選び出し、重み付けして比較する考え方は、ランキングやクラスタリング、分類のいずれにも共通する土台であり、本書が特徴語の章をランキングより前に置いているのも、この順序に沿った並びといえます。

ランキングと評価から表現学習へつながる流れ

検索システムを作るうえで見落とされやすいのが評価です。ランキングの式を変えたときに結果が良くなったのか悪くなったのかは、適合する文書をどれだけ上位に拾えたかを数値で測らない限り判断できません。本書が評価に独立した章を充てていることは、作って終わりではなく改善を回すための視点を最初から持たせる構成として読めます。終盤のトピックと表現学習は、語の一致だけでは捉えきれない意味の近さを扱う領域で、文書や語を 埋め込みベクトル として表し、ベクトル同士の近さで関連性を測る考え方につながります。語の一致による古典的な検索と、意味の近さに基づく検索を一本の流れの中で学べることは、自然言語処理 と検索の境目にある技術を見通すうえで役に立ちます。

Python の基礎がある学生や開発者に向く一冊

付録に Python の章があるとはいえ、プログラミングそのものを一から学ぶ本ではないため、Python で関数やリスト、辞書を使った短いプログラムが書ける程度の経験があると読み進めやすくなります。情報検索の理論を数式から厳密に体系立てて学びたい人には、Manning らの Introduction to Information Retrieval のような教科書が別に必要になりますし、Elasticsearch のような検索エンジン製品の運用手順を求める人にも目的が合いません。一方で、社内文書の検索やテキストマイニングの仕組みを内側から理解したい開発者や、情報検索の講義を受ける前後に手を動かして概念を確かめたい学生にとって、文字の扱いから表現学習までを一冊の章立てで通せる本書は、検索技術の全体像をつかむ最初の足場として選ぶ価値があります。