やってみよう テキストマイニング (増訂版)

知識・技術・資金がなくてもテキストマイニングができる! 手順に沿って実際のアンケート結果を分析しながら, データの事前編集, 単語抽出, 探索的分析, 仮説検証的分析まで楽しく学ぶ.最新の KH Coder 3 に対応した待望の改訂版.
1.テキストマイニングをはじめる
(考え方と手順, データ構造の特徴, 分析のポイント)
2.データの事前編集
(有効データの抽出, 表記の統一)
3.データの読み込みと前処理
(形態素解析, 暫定リスト, 辞書作成)
4.第 1 段階の分析 1:抽出語の分析
(リスト表示と集計, 記述統計量とデータの可視化)
5.第 1 段階の分析 2:文書の分析
(類似サンプルのグループ化)
6.第 2 段階の分析: 仮説検証的な分析
(仮説コードによる分類)
7.事例
(講義の感想の可視化, 新規サービスのアイディア調
査, 街のイメージ調査, 週報の分析, 公的統計へのコメ
ント分析)
付録:
(Excel マクロによるデータ整理, ベイズ学習とは, など)

『やってみよう テキストマイニング (増訂版)』 (牛澤 賢二 著、朝倉書店、2021 年 5 月 1 日刊行) は、自由回答アンケートを素材に、KH Coder 3 を使ってテキストマイニングの手順をたどる本です。副題は「自由回答アンケートの分析に挑戦!」です。版元の紹介は「知識・技術・資金がなくてもテキストマイニングができる!」とうたい、手順に沿って実際のアンケート結果を分析しながら、データの事前編集、単語抽出、探索的分析、仮説検証的分析まで学ぶ本と案内しています。KH Coder 3 に対応した改訂版で、国立国会図書館の書誌でも版の表記は増訂版です。刊行時の版元の著者紹介では、牛澤 賢二は 1952 年生まれで専門は統計学、産業能率大学で長く教鞭をとったのち株式会社シードプランニング顧問を務め、企業のアンケートデータの分析 / 指導に従事しています。

全 7 章と付録 5 本の構成、事前編集から仮説検証まで

目次は全 7 章と付録 A から E です。第 1 章「テキストマイニングをはじめる」はテキストマイニングとは何かから始まり、手順、データ構造の特徴、ポイント、事例についての節が続きます。第 2 章「データの事前編集」は外部変数とテキストデータ、有効データの抽出、データの置換を扱います。第 3 章「データの読み込みと前処理」には「My 辞書の作成」と「前処理の再実行」の節があります。第 4 章「第 1 段階の分析 1:抽出語の分析」に続く第 5 章「第 1 段階の分析 2:文書の分析」は、抽出語の組み合わせで文書を検索する節と、クラスター分析で類似の回答をグループ化する節の 2 つです。第 6 章「第 2 段階の分析: 仮説検証的な分析」は、仮説のコーディング、仮説コードの集計と分析、コード化できなかった文書の追跡、コーディング結果の出力と利用法を扱います。第 7 章「テキストマイニングの事例」には、食育授業の感想の可視化、高齢者向けサービスのまとめ、来街者による街の評価、週報データの分析、公的統計におけるコメントの分析の 5 つの事例が並びます。

形態素解析と外部変数、自由回答を数える技術背景

アンケートの データ分析 では、選択式の項目は回答の数をそのまま集計できますが、自由回答は文章のままでは数えられません。日本語の文章は単語の間に空白が無いため、テキストマイニングでは、文を単語に区切って品詞を判定する形態素解析を前処理として行います。形態素解析は 自然言語処理 の基本の技術で、辞書に無い固有名詞や複合語は意図しない位置で区切られることがあり、分析者が語を登録して解析をやり直すことで集計の単位を整えます。外部変数は、性別や年代のような回答者の属性を表す項目で、語の出方を属性ごとに比べる時の軸になります。抽出語の出現回数を数え、その分布から全体の傾向をつかむ作業は、統計学 の記述統計の考え方を語の頻度に当てはめたものです。

仮説コードとベイズ学習、付録と演習用データ

仮説検証的な分析では、分析者が語の組み合わせの規則としてコードを定義し、各文書がどのコードに当たるかを集計します。付録 C「ベイズ学習による分類」は「ベイズの定理とテキストマイニングへの応用」「外部変数から学習」「学習結果を用いた自動分類」の 3 節です。ベイズの定理を使う分類では、学習用の文書から語の出方とカテゴリーの関係を確率として求め、新しい文書がどのカテゴリーに当たるかを語の出方から計算します。付録 A は「データ編集の補足 / Excel マクロによる一括変換」、付録 B は「Excel マクロによる外部変数と抽出語のクロス集計」、付録 D は「Excel マクロによる文字列検索」、付録 E は「KH Coder の構成と機能」です。版元のページでは、書籍内で分析に利用するアンケートデータ、サンプルコード、Excel マクロなどの演習用データと、2021 年 9 月 21 日に公開された「トピックモデル」の解説 PDF と演習用 Excel ファイルが配布されています。

本書は、自由回答アンケートの分析を、事前編集、前処理、抽出語と文書の分析、仮説コードによる分類、5 つの事例の順に全 7 章で扱い、Excel マクロによるデータ整理、ベイズ学習による分類、KH Coder の構成と機能を付録にまとめています。