スラスラ読める Python ふりがなプログラミング スクレイピング入門

「プログラムの読み方をすべて載せる」という手法で究極のやさしさを目指した人気の「ふりがなプログラミング」シリーズから、Python を使ったスクレイピングの入門書が登場。スクレイピングを用いれば Web 上のサイトを定期的にチェックしたり、一覧になった URL のリンク先を順番に参照したりといった作業を自動化できます。応用できる範囲は趣味から仕事まで幅広く、Python で行えることが一気に広がります。本書では Web サイトの構造を把握することからしっかり解説。データの収集・整理・加工といった一連の流れを学べます。

『スラスラ読める Python ふりがなプログラミング スクレイピング入門』 (リブロワークス 著、株式会社ビープラウド 監修、インプレス、2021 年 12 月刊) は、Python を使った Web スクレイピング の入門書です。インプレスの「ふりがなプログラミング」シリーズの 1 冊で、版元の紹介文はシリーズの手法を「プログラムの読み方をすべて載せる」と説明しています。Web サイトの構造を把握するところから始めて、データの収集、整理、加工という一連の流れを扱います。判型は B5 変型判です。

サイトの定期的な確認とリンク先の巡回を自動化する

紹介文は、スクレイピングでできることの例として、Web 上のサイトを定期的に確かめる作業と、一覧になった URL のリンク先を順番に参照する作業の自動化を挙げ、応用できる範囲は趣味から仕事まで幅広いとしています。本書の解説は Web サイトの構造の把握から始まり、データの収集、整理、加工までを学ぶ流れと案内されています。国立国会図書館の書誌では、件名をウェブスクレーピングとして登録し、索引ありと記録しています。

HTML の木構造と要素の指定、スクレイピングのしくみ

スクレイピングの処理は、大きく 3 つの段階に分かれます。まず HTTP でページを要求して HTML の文書 を受け取り、次にその文書をタグの入れ子からなる木構造として解析して、目的の要素をタグ名や class 属性、CSS セレクターで指定して取り出します。最後に、取り出した値を CSV などの形式で保存して整理します。Python では、ページの取得に Requests、HTML の解析に Beautiful Soup といったライブラリを組み合わせる方法が広く使われています。目的の要素を指定するには、ページがどのタグとどの属性で組まれているかを先に読み取る必要があり、その確認にはブラウザーの開発者ツールが使われます。

取得先への配慮と、JavaScript で描かれるページ

スクレイピングには、技術とは別の前提もあります。取得先のサイトの利用規約や robots.txt の指定を確かめ、短い間隔で大量の要求を送ってサーバーに負担をかけないことです。また、表示の内容を JavaScript で後から組み立てるページでは、HTTP で受け取った HTML に目的のデータが含まれないことがあり、その場合はブラウザーを自動で操作する Selenium のような道具や、ページが裏で呼び出している API からデータを得る方法が別に必要になります。取得先のサイトの構造が変われば、同じプログラムでは値を取り出せなくなる点も、スクレイピング全般に共通します。

ふりがなプログラミングの形式と本書の範囲

本書は、プログラムの読み方をすべて載せる形式で、スクレイピングに題材を絞っています。Python の本の選び方は Python 本の選び方 にまとめています。本書は、Web サイトの構造の把握から、データの収集、整理、加工までの流れを扱っています。