Python で学ぶテキストマイニング入門

本書は Python による自然言語処理、あるいはテキストマイニングの初歩について解説したものです。
テキストマイニングとは、テキストをコンピュータで探索 (マイニング) する技術の総称です。ここで「テキスト」とは、小説や論文、あるいは新聞や雑誌の記事にとどまらず、インターネット上のブログ、あるいは SNS に投稿された文章など、およそ人間の言葉で書かれたものを指します。
Python の基本からテキスト分析の手順、形態素解析器の導入、さまざまな分析手法についてわかりやすく解説しています。また、本書の最後に、ディープラーニングを使ったテキストマイニング事例についても紹介します。

アンケートの自由記述や SNS の投稿のように、人の言葉で書かれた大量の文章から傾向を取り出したい人のための入門書です。『Python で学ぶテキストマイニング入門』 (石田 基広 著、シーアンドアール研究所、2022 年 8 月刊) は、Python による自然言語処理とテキストマイニングの初歩を、言語の基本から日本語の解析、分類やトピックモデル、深層学習を使った事例まで一冊で通して扱います。版元の紹介文はテキストマイニングを「テキストをコンピュータで探索 (マイニング) する技術の総称」と定義し、対象のテキストには小説や論文、新聞や雑誌の記事だけでなく、ブログや SNS に投稿された文章も含まれると説明しています。

全 12 章の構成、Python の速習から BERT まで

版元の目次は CHAPTER 01 から CHAPTER 12 までの全 12 章と付録 1 本です。1 章「データマイニングとテキストマイニング」で両者の関係を整理し、2 章「Python 速習」で言語の基本を押さえ、3 章「テキストマイニングの準備」を経て、4 章「MeCab による形態素解析と抽出語の選択」、5 章「Janome」、6 章「spaCy と GiNZA」と、日本語の文を語に分ける道具を章ごとに取り上げます。7 章「Bag of Words (BoW)」のあとは、8 章「アンケート分析」、9 章「テキストの分類」、10 章「トピックモデル」と分析の応用へ進みます。目次の並びから見ると、紹介文が本書の最後で紹介するとしているディープラーニングの事例は、11 章「単語分散表現」と 12 章「huggingface-transformers (BERT)」に当たると読めます。付録は「青空文庫と Google Colaboratory の利用」で、版元は本書の一部に解説動画が用意されていることも案内しています。

日本語の分析で形態素解析器の違いが効いてくる理由

自然言語処理 を日本語に当てはめるとき、最初の壁は単語の区切りです。英語は空白で語が分かれますが、日本語は文字が切れ目なく続くため、辞書と統計モデルを使って文を語に分け、品詞を付ける解析が前処理の要になります。C++ で書かれ処理の速い MeCab、Python だけで書かれていて導入の手間が少ない Janome、spaCy の枠組みの上で日本語の解析モデルを提供し係り受けまで扱える GiNZA は、同じ文を分けても語の単位や品詞の体系が少しずつ異なります。どの品詞を残し、どの語を捨てるかで頻度の表もトピックの抽出結果も変わるので、複数の解析器を並べて比べられる構成には実務上の意味があります。分析の後半では、語を出現回数の表で扱う段階から、語を数値のベクトルで表す段階へ進みます。その代表が周辺の語から意味の近さを学習する word2vec で、さらに文脈に応じて同じ語にも異なる 埋め込みベクトル を与える深層学習の言語モデルへとつながります。数え上げの手法と深層学習の手法の両方が目次に並んでいるため、両者の違いを一冊の中で見比べられます。

Python 初心者からのテキスト分析に向く入門書

担当編集者は、Python の基本も解説しているので初心者に勧められる一冊だと案内しています。プログラミングの経験が浅い段階でも入れる設計ですが、言語の解説は 1 章分の速習なので、Python そのものを腰を据えて学びたい場合は言語の入門書を併用すると無理がありません。著者は刊行時に徳島大学大学院の教授で、大学でプログラミング、データ分析、テキスト分析の科目を担当しており、R を使った『R によるテキストマイニング入門』 (森北出版) の著書もあります。R で同じ種類の分析を進めたい人は、そちらが選択肢になります。一方、大規模言語モデルを業務に組み込む方法や、言語モデルの学習の理論を深く掘り下げたい人には、本書の範囲は入り口に当たる部分にとどまります。

社内アンケートの自由回答、問い合わせの記録、口コミの投稿など、読み切れない量の文章を前にして手の付け方に迷っている人にとって、日本語の前処理から分類、トピックの抽出、深層学習の事例までを Python で一続きに試せる本書は、最初の分析を自分の手で形にするための足場になります。手元のテキストを 1 つ用意して、2 章の速習から順に進めてみてください。