テキストマイニングの基礎技術と応用(テキストマイニングノキソギジュツトオウヨウ)

研究と実応用の両面に従事する研究者が、テキストデータを活用するための実践的なガイドを提供する。基盤技術に関する学術的な解説や活用事例にとどまらず、誰もが成果を出すことができるように、必要となる視点を示す。新しい研究トピックを取り上げることで今後のテキストマイニングの進化の方向性も展望する。
はじめに

第 1 章 テキストマイニングの基本
1. 1 テキストマイニングが可能にすること
1. 2 検索や分類とテキストマイニングの違い
1. 3 テキストマイニングの基本的な仕組み
1. 4 テキストマイニングの難しさ
1. 5 テキストマイニングのための自然言語処理
1. 6 テキストマイニングのための分析技術
1. 7 テキストマイニング成果を出すための留意点
章末問題／参考文献

第 2 章 テキストマイニングのための辞書構築
2. 1 テキストマイニング辞書の性質
2. 2 テキストマイニング辞書の構築支援
2. 3 対話的辞書構築支援システム
2. 4 終わりに
章末問題／参考文献

第 3 章 機械学習の応用による文書類似検索
3. 1 類似検索の概要
3. 2 類似検索の課題
3. 3 教師なし学習
3. 4 類似度と特徴ベクトルの定義
3. 5 単語から特徴へ
3. 6 検索漏れと自動分類
3. 7 ランキング学習
3. 8 終わりに
章末問題／参考文献

第 4 章 膨大なデータを高速処理する索引技術
4. 1 分析に必要なデータ量の求め方
4. 2 データを 10 倍にすると分析効果は何倍になるか
4. 3 大量のデータを扱うためのインデクスとは
4. 4 テキスト分析におけるトップ k クエリ
4. 5 DFP アルゴリズムによるランダムアクセスの回避
4. 6 「キーワードの大半は関連がないこと」を利用する技術
4. 7 カーディナリティフィルタのプログラミング
4. 8 インデクスから眺めたテキストデータ分析
章末問題／参考文献

第 5 章 テキスト分析のための実践的確率統計
5. 1 集計値に当てはめる確率モデル:二項分布
5. 2 集計値に当てはめるべき確率モデル:ポアソン分布
5. 3 不完全な抽出器のデータを用いた統計
5. 4 テキストデータ上の統計
章末問題／参考文献

第 6 章 顧客の声や SNS のテキストマイニング
6. 1 顧客の声のテキストマイニング
6. 2 SNS データの分析
章末問題／参考文献

第 7 章 特許文書のテキストマイニング
7. 1 特許の概要
7. 2 特許分析の重要性
7. 3 特許文書のテキストマイニング
7. 4 特許文書のスコアリング
7. 5 請求項からの情報抽出
7. 6 類似特許検索
7. 7 語彙の関係性抽出
7. 8 終わりに
章末問題／参考文献

第 8 章 テキストと画像情報からの知識獲得
8. 1 はじめに
8. 2 物体の名称獲得
8. 3 画像を用いた具体名詞獲得
8. 4 文書への画像挿入
8. 5 終わりに
章末問題／参考文献

章末問題解答
索 引

大量のテキストデータから有用な情報を抽出するテキストマイニングは、自然言語処理 (NLP) の応用分野として企業の顧客分析や研究の知見発見に欠かせない技術になっています。本書は IBM 東京基礎研究所で長年テキストマイニングに携わってきた那須川哲哉氏らの知見をもとに、形態素解析や構文解析といった要素技術から、評判分析・情報抽出・要約といった応用技術までを体系的にまとめた構成です。

技術の個々の解説にとどまらず、「実際のテキストデータに対してどの技術をどう組み合わせると有益な結果が得られるか」という設計視点を含んでいる点が特長です。深層学習以前のルールベースや統計的手法を基盤としているため、 Transformer 以降のモデルについては別途学ぶ必要がありますが、前処理の設計や評価指標の考え方など、手法が変わっても色あせない基礎体力を養えます。テキストデータを分析業務で扱う第一歩として、あるいは NLP の全体像を把握するための地図として機能する一冊です。