R によるやさしいテキストマイニング

「テキストマイニングに必要な知識とはなんだろう?」
素朴な疑問に答えたテキストマイニング入門書の決定版!
本書は、「テキストマイニングに必要な知識とはなんだろう?」という素朴な疑問に直球でお答えする入門書です。テキストマイニング自体に注力して、わかりやすく解説しています。
単なるツールの説明にならないように、言語学や社会調査法の理論についても前半でていねいにふれ、さまざまな用途に応じたデータの視覚化手法を盛り込みます。また、テキスト分析やデータ分析のためのファイルの作り方についても詳しく説明します。
Part 1 基礎編
第 1 章 テキストマイニング入門
第 2 章 テキストマイニングの理論的枠組み

Part 2 準備編
第 3 章 分析データの準備
第 4 章 データ分析の基本
第 5 章 データの可視化.

Part 3 実践編
第 6 章 基本的なテキスト分析
第 7 章 発展的なテキスト分析
第 8 章 基本的な統計処理
第 9 章 発展的な統計処理
第 10 章 英語テキストの分析

自由記述のアンケートや問い合わせの文面のように、数値になっていない言葉のデータから傾向を読み取る手法がテキストマイニングです。『R によるやさしいテキストマイニング』 (小林 雄一郎 著、オーム社、2017 年 2 月刊) は、「テキストマイニングに必要な知識とはなんだろう?」という素朴な疑問に答えることを掲げた入門書で、統計解析の言語である R 言語 を使って分析の手順を学びます。版元の紹介文によると、単なるツールの説明にならないよう言語学や社会調査法の理論にも前半で触れ、用途に応じたデータの視覚化手法や、分析のためのファイルの作り方まで説明する構成です。

3 部 10 章の構成、テキストマイニング入門から英語テキストの分析まで

本文は Part Ⅰ 基礎編、Part Ⅱ 準備編、Part Ⅲ 実践編の 3 部 10 章です。基礎編は第 1 章「テキストマイニング入門」と第 2 章「テキストマイニングの理論的枠組み」で、テキストデータの構築と分析の考え方を押さえます。準備編では、第 3 章でデータセットの構築やテキストファイルと CSV ファイルの作成、テキスト整形を、第 4 章で R のインストールと基本操作、ベクトルと行列、文字列処理、ファイルの読み込みを扱い、第 5 章ではヒストグラム、箱ひげ図、モザイクプロット、散布図による視覚化を学びます。実践編は第 6 章の形態素解析と、単語、n-gram、共起語の頻度分析から始まり、第 7 章で頻度の標準化と重み付け、第 8 章で検定と効果量、相関と回帰、第 9 章でテキストのグループ化と分類へ進みます。最後の第 10 章「英語テキストの分析」では、用例検索や語彙多様性とリーダビリティの分析を取り上げます。

数える前の整形と、数えた後の統計処理が要になる理由

テキストマイニングには、分析の前後に整形と統計処理の工程があります。日本語の文には単語の区切りが書かれていないため、まず文を単語に切り分けて品詞を判定しなければ、語の頻度すら数えられません。言葉をコンピューターで扱う 自然言語処理 の基本技術がここで必要になり、表記の揺れや不要な記号を整える下ごしらえが第 3 章のテキスト整形に当たります。長い文書ほど語の出現数は多くなるので、文書どうしを比べるには頻度を文書の長さでそろえる必要があり、どの文書にも出る語と特定の文書に偏る語を区別するには重み付けが要ります。大量のテキストを 統計的に検定 すると小さな差でも有意になりやすく、差の大きさは効果量で示します。本書の目次では、準備編の 3 章と、実践編の第 8 章と第 9 章の統計処理がこの前後の工程に当たります。

顧客の声を分析したい初級者向けのテキストマイニング入門

版元が挙げるおすすめの読者は、ツールを使いこなせずテキストマイニングを理解できなかった人、カスタマーサポートやマーケティングで顧客の意見を分析したい人、商品開発などの目的で消費者の潜在ニーズのような定性情報を分析したい人で、段は初級です。第 4 章で R のインストールから案内し、版元のページでは本書で使うサンプルデータとコードが Windows 向けと Mac 向けの 2 種類で配布されています。一方で、Python で分析を組みたい人や、深層学習を使った文章の分類や生成を学びたい人が求める内容は目次にありません。

アンケートの自由記述や問い合わせの記録を手元に抱えながら、どこから手を付ければよいか分からずにいる人に向けて、本書は、理論の枠組みとファイルの準備から頻度分析、統計処理、英語テキストの分析までを扱います。