テキストマイニングの基礎技術と応用

研究と実応用の両面に従事する研究者が、テキストデータを活用するための実践的なガイドを提供する。基盤技術に関する学術的な解説や活用事例にとどまらず、誰もが成果を出すことができるように、必要となる視点を示す。新しい研究トピックを取り上げることで今後のテキストマイニングの進化の方向性も展望する。
はじめに

第 1 章 テキストマイニングの基本
1. 1 テキストマイニングが可能にすること
1. 2 検索や分類とテキストマイニングの違い
1. 3 テキストマイニングの基本的な仕組み
1. 4 テキストマイニングの難しさ
1. 5 テキストマイニングのための自然言語処理
1. 6 テキストマイニングのための分析技術
1. 7 テキストマイニング成果を出すための留意点
章末問題 / 参考文献

第 2 章 テキストマイニングのための辞書構築
2. 1 テキストマイニング辞書の性質
2. 2 テキストマイニング辞書の構築支援
2. 3 対話的辞書構築支援システム
2. 4 終わりに
章末問題 / 参考文献

第 3 章 機械学習の応用による文書類似検索
3. 1 類似検索の概要
3. 2 類似検索の課題
3. 3 教師なし学習
3. 4 類似度と特徴ベクトルの定義
3. 5 単語から特徴へ
3. 6 検索漏れと自動分類
3. 7 ランキング学習
3. 8 終わりに
章末問題 / 参考文献

第 4 章 膨大なデータを高速処理する索引技術
4. 1 分析に必要なデータ量の求め方
4. 2 データを 10 倍にすると分析効果は何倍になるか
4. 3 大量のデータを扱うためのインデクスとは
4. 4 テキスト分析におけるトップ k クエリ
4. 5 DFP アルゴリズムによるランダムアクセスの回避
4. 6 「キーワードの大半は関連がないこと」を利用する技術
4. 7 カーディナリティフィルタのプログラミング
4. 8 インデクスから眺めたテキストデータ分析
章末問題 / 参考文献

第 5 章 テキスト分析のための実践的確率統計
5. 1 集計値に当てはめる確率モデル: 二項分布
5. 2 集計値に当てはめるべき確率モデル: ポアソン分布
5. 3 不完全な抽出器のデータを用いた統計
5. 4 テキストデータ上の統計
章末問題 / 参考文献

第 6 章 顧客の声や SNS のテキストマイニング
6. 1 顧客の声のテキストマイニング
6. 2 SNS データの分析
章末問題 / 参考文献

第 7 章 特許文書のテキストマイニング
7. 1 特許の概要
7. 2 特許分析の重要性
7. 3 特許文書のテキストマイニング
7. 4 特許文書のスコアリング
7. 5 請求項からの情報抽出
7. 6 類似特許検索
7. 7 語彙の関係性抽出
7. 8 終わりに
章末問題 / 参考文献

第 8 章 テキストと画像情報からの知識獲得
8. 1 はじめに
8. 2 物体の名称獲得
8. 3 画像を用いた具体名詞獲得
8. 4 文書への画像挿入
8. 5 終わりに
章末問題 / 参考文献

章末問題解答
索 引

アンケートの自由記述やコールセンターの記録、SNS の投稿、特許文書のような大量のテキストから、分析に使える知見を引き出す方法を、研究と実務の両面から学ぶための専門書です。『テキストマイニングの基礎技術と応用』は、岩波書店のシリーズ「テキストアナリティクス」の第 2 巻として 2020 年 12 月に刊行されました。那須川哲哉氏の編著で、吉田一星、宅間大介、鈴木祥子、村岡雅康、小比田涼介の各氏が執筆に加わっており、版元ドットコムの著者紹介によれば、刊行時の 6 名はいずれも日本アイ・ビー・エム株式会社東京基礎研究所の所属です。

全 8 章の構成、辞書と索引から特許文書の分析まで

構成ははじめにと全 8 章で、各章の末尾に章末問題と参考文献が付き、巻末に章末問題の解答と索引があります。第 1 章「テキストマイニングの基本」は、テキストマイニングで何ができるか、検索や分類とどう違うか、基本的な仕組みと難しさ、そのための 自然言語処理 と分析技術、成果を出すための留意点までを見渡す総論です。第 2 章はテキストマイニング用の辞書の性質と、対話的に辞書を作る支援システムを、第 3 章は機械学習の応用による文書の類似検索を扱い、教師なし学習、類似度と特徴ベクトルの定義、ランキング学習へと進みます。第 4 章は膨大なデータを高速に処理する索引技術で、分析に必要なデータ量の見積もり、トップ k クエリ、DFP アルゴリズム、カーディナリティフィルターのプログラミングを、第 5 章は二項分布やポアソン分布を集計値に当てはめる実践的な確率統計を扱います。後半は応用で、第 6 章が顧客の声と SNS データ、第 7 章が特許文書のスコアリングや請求項からの情報抽出、類似特許検索、第 8 章がテキストと画像情報を組み合わせた知識獲得です。

単語を数えるだけでは足りない理由

テキストマイニングの難しさは、言葉の揺れと文脈にあります。同じ不満でも言い回しは人ごとに違い、製品名には略称や表記の揺れがあり、否定や条件の表現が付けば単語の出現だけでは意味が逆転します。そのため実務では、分析の目的に合わせて同義語や分野の用語をまとめる辞書を育て、どの表現をどの概念として数えるかを決める作業が成否を分けます。本書が第 2 章を辞書構築に充てているのは、この地道な工程を手法として扱う姿勢の表れと読めます。もう 1 つの論点は、数えた結果をどう信じるかです。出現回数が少ない語の増減が偶然の揺れなのかどうか、自動の抽出器が取りこぼしや誤りを含む状態で集計値をどう読むかは、統計の考え方 なしには判断できません。第 4 章でデータ量と分析効果の関係や大量データの索引を、第 5 章で不完全な抽出器のデータを用いた統計を扱っている点は、手法の紹介にとどまらず、分析結果を業務の判断に使えるかどうかまで踏み込んだ構成といえます。

前提となる知識と、2020 年刊であることの意味

読み進めるには、確率分布や推定といった統計の基礎と、ベクトルや類似度の考え方に慣れていることが望まれます。第 5 章で二項分布やポアソン分布を集計値に当てはめるように、数式を避けた読み物ではないため、数式に不安があるなら 機械学習に必要な数学の本 で確率と統計の土台を先に整えておくと無理がありません。また本書は 2020 年 12 月の刊行で、目次に大規模言語モデルを扱う章はありません。生成 AI を使った要約や分類の実装手順を求める人には範囲が合わない一方、辞書による概念の整理、検索と索引の設計、集計値の統計的な読み方といった論点は、使うモデルが変わっても分析設計の中心に残ります。

顧客の声の分析や特許調査、社内文書の活用を任され、ツールの出力をそのまま報告するのではなく、何をどう数え、その数字をどこまで信じてよいかを自分で説明できるようになりたい人にとって、研究と実応用の両方を知る執筆陣が基礎技術から応用事例までを 1 冊にまとめた本書は、手元に置く価値のある専門書です。章末問題が付いているため、ゼミや社内勉強会の教材として順に読み進める使い方にも向いています。